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亚 
了 路 


现 阶段 ， 软 件 测试 基础 人 才 不 足 ， 已 成 为 制约 我 国 软件 产业 发 展 的 瓶颈 。 在 国内 ， 虽 然 软 
件 测试 仍然 处 于 起 步 阶段 , 但 是 毫 无 疑问 , 就 TT 产业 发 展 前 景 来 看 ， 软 件 测试 是 软件 行业 中 的 
朝阳 产业 。 信 息 产 业 目前 已 成 为 我 国 的 支柱 性 产业 ， 特 别 是 伴随 着 “互联 网 + ”战略 上 升 至 国 
家 战略 ， 软 件 行业 正在 以 前 所 未 有 的 速度 莲 勃 发 展 ， 因 此 也 极 大 地 带动 了 软件 测试 行业 的 快速 
发 展 。 软 件 测试 对 于 软件 质量 保障 的 重要 性 越 来 越 多 地 得 到 软件 企业 和 软件 研发 团队 的 重视 ， 
专业 的 软件 测试 人 才 需 求 不 断 扩大 ， 各 种 软件 测试 培训 机 构 和 网 站 数量 不 断 增多 ， 软 件 测试 已 
成 为 IT 产业 中 的 一 个 重要 行业 分 支 。 

但 是 与 软件 测试 发 展 和 人 才 需 求 不 相 适 应 的 是 ， 很 多 软件 企业 认为 ， 大 量 软件 测试 岗位 应 
聘 者 缺乏 对 于 软件 测试 技术 的 系统 培训 ， 未 能 系统 化 地 掌握 软件 测试 正规 流程 ， 一 些 应 聘 者 虽 
然 有 一 些 软件 研发 经 验 ， 但 是 不 了 解 软件 测试 岗位 需求 。 从 软件 测试 人 员 的 现状 来 看 ， 也 存在 
着 很 多 问题 。 测 试 人 员 的 专业 知识 不 够 扎实 ， 只 懂得 一 些 表面 上 的 测试 技术 ， 不 能 全 面 胜任 软 
件 测试 工作 , 更 无 法 胜任 软件 测试 项 目 管理 工作 ; 测试 人 员 没有 建立 相对 完整 的 测试 体系 概念 ， 
对 软件 测试 的 基本 定义 和 目的 不 清晰 ， 不 了 解 如 何 具体 开展 软件 测试 工作 ， 和 忽视 软 件 测试 理论 
知识 ， 认 为 理论 知识 没有 用 而 不 去 深入 理解 软件 测试 的 基本 原理 。 软 件 测试 人 才 知识 能 力 结构 
不 健全 的 根本 原因 是 人 才 培养 途径 不 健全 ， 因 此 ， 急 须 加 强 高 等 院 校 软件 测试 技术 相关 课程 的 
建设 。 

软件 测试 远 比 人 们 直观 想象 的 复杂 ， 测 试 工作 具有 很 高 的 组 织 管理 和 技术 难度 ， 测 试 理论 
也 比较 庞杂 ， 具 有 理论 和 实践 高 度 联系 的 特点 。 软 件 测试 工具 相 比 于 软件 开发 工具 来 讲 ， 分 类 
更 为 细致 并 且 数量 众多 ， 一 个 软件 项 目的 测试 工作 往往 需要 多 种 软件 测试 工具 的 配合 使 用 才能 
达到 全 面 和 深入 测试 的 效果 。 同 时 ， 高 等 院 校 软件 测试 技术 课程 的 讲授 或 多 或 少 地 受到 讲授 形 
式 和 有 限 课时 的 限制 ， 与 培训 机 构 动 驾 4-6 个 月 的 软件 测试 培训 周期 和 以 实验 练习 为 主 的 培训 
方式 有 很 大 的 不 同 。 

上 述 实际 情况 使 得 高 等 院 校 软 件 测试 技术 课程 的 讲授 具有 一 定 的 挑战 性 ， 需 要 精心 编排 和 
组 织 授课 内 容 ， 设 定 合理 的 授课 目标 ， 力 争 在 有 限 的 学 时 内 ， 使 学 生 掌 握 软件 测试 的 基本 原理 、 
方法 和 技术 ， 熟 悉 软件 测试 的 正规 流程 以 及 相关 标准 和 规范 ， 了 解 软件 测试 项 目的 管理 方法 ， 
并 且 能 够 学 习 掌握 自动 化 测试 的 原理 和 基本 的 软件 测试 工具 ， 为 今后 更 为 深入 地 学 习 软 件 测试 
知识 技能 和 胜任 高 级 软件 测试 工作 打下 坚实 基础 。 为 此 ， 本 书 在 内 容 上 进行 了 精心 组 织 ， 据 弃 
了 一 些 复杂 深奥 和 实用 性 不 强 的 理论 内 容 ， 加 强 了 对 软件 测试 基本 技术 的 讲解 ， 力 求 通过 丰富 
的 典型 实例 和 通俗 易 懂 的 语言 ， 使 读者 快速 理解 重点 内 容 、 切 实 掌握 相关 难点 。 同 时 ， 重 视 理 
论 与 实践 相 结合 ， 根 据 当前 软件 测试 行业 技术 应 用 现状 和 未 来 发 展 趋势 ， 使 读者 既 能 够 系统 地 


NT 


掌握 软件 测试 的 基本 理论 和 方法 , 又 能 够 明晰 这 些 理论 和 方法 是 如 何在 实际 应 用 中 发 挥 作用 的 。 
本 书 主要 包括 以 下 内 容 

(1) 测试 基础 知识 。 在 第 1 章 中 通过 分 析 软 件 测试 工程 师 的 职业 发 展 前 景 和 当前 我 国 软件 
测试 行业 现状 ， 使 读者 首先 了 解 学 习 本 课程 的 意义 ， 增 强 学 习 兴 趣 ; 介绍 软件 测试 的 发 展 历程 、 
基本 概念 、 原 则 和 术语 ; 详细 说 明 软 件 测试 的 目的 、 分 类 、 流 程 和 基本 的 软件 测试 过 程 ;， 细致 
讲解 常见 的 软件 测试 模型 ， 阐 述 什么 是 测试 用 例 、 如 何 正规 书写 测试 用 例 、 如 何 保障 测试 用 例 
的 设计 质量 。 

(2) 测试 基本 技术 。 在 第 2 章 和 第 3 章 中 结合 经 典 实例 ， 重 点 讲解 常用 的 白 盒 测试 技术 和 
黑 盒 测试 技术 以 及 相应 的 测试 用 例 设 计 方法 ， 对 难以 掌握 和 应 用 中 易 错 的 知识 点 进行 实例 化 说 
明 。 总 结 和 分 析 白 盒 测 试 和 黑 盒 测 试 的 优 缺 点 ， 在 此 基础 上 给 出 白 盒 测试 和 黑 盒 测 试 技术 的 应 
用 策略 。 

(3) 测试 过 程 。 在 第 4 章 中 ， 从 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 4 个 阶段 详细 
介绍 软件 测试 执行 过 程 ， 说 明 各 测试 阶段 依据 的 主要 技术 文档 、 参 与 人 员 、 和 典型 测试 数据 和 采 
用 的 主要 技术 ， 对 回归 测试 的 方法 和 注意 事项 进行 介绍 。 

(4) 功能 与 非 功能 测试 。 在 第 5 章 中 ， 对 各 种 典型 的 功能 和 非 功能 测试 技术 进行 说 明 ， 重 
点 讲解 性 能 测试 的 分 类 以 及 常用 的 性 能 测试 指标 。 

(5) 缺陷 报告 与 测试 评估 。 在 第 6 章 中 ， 详 细 说 明报 告 软件 缺陷 的 方法 ， 重 点 说 明 如 何 完 
成 定量 化 测试 评估 ， 介 绍 测试 总 结 报告 的 编写 方法 。 

(6) 测试 管理 。 在 第 7 章 中 ， 介 绍 测试 管理 中 一 些 最 为 重要 的 管理 内 容 和 相关 知识 ， 主 要 
包括 软件 质量 管理 标准 和 管理 体系 、 如 何 制 定 测试 计划 、 测 试 项 目 中 的 测试 文档 以 及 测试 配置 
管理 等 内 容 。 

(7) 软件 测试 自动 化 。 在 第 8 章 中 ， 介 绍 自动 化 测试 的 原理 ， 说 明 测试 工具 的 分 类 和 选择 
方法 ， 给 出 一 些 常用 测试 工具 的 说 明 。 

本 书 在 编写 过 程 中 参考 了 很 多 专著 、 教 材 、 论 文 和 大 量 的 网 上 资料 ， 由 于 篇 幅 所 限 ， 一 些 
细节 之 处 未 能 一 一 列 出 。 在 此 ， 向 所 有 作者 表示 衷心 的 感谢 和 诚挚 的 敬意 。 由 于 作者 专业 水 平 
有 限 ， 书 中 难免 有 缺点 和 欠 妥 之 处 ， 奶 请 读者 批评 指正 ， 以 便于 今后 不 断 修 正和 改进 。 我 们 的 
电话 是 010-62796045， 信 箱 是 huchenhao@263.net。 

本 书 对 应 的 课件 可 以 到 http://www.tupwk.com.cn/downpage 网 站 下 载 , 也 可 通过 扫描 下 方 的 
二 维 码 下 载 。 
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73.1 对 于 测试 计划 的 基本 认识 


第 1 章 
软件 测试 概述 


软件 测试 是 保障 软件 质量 的 关键 手段 。 当 今 社会 是 信息 化 社会 , 各 种 信息 化 技术 高 速 发 展 ， 
表现 为 软件 几乎 无 所 不 在 。 软 件 不 仅 存在 于 我 们 的 计算 机 中 ， 而 且 几 乎 存在 于 我 们 日 常 接触 和 
使 用 的 所 有 电子 设备 之 中 。 随 着 软件 数量 、 规 模 和 复杂 度 的 增加 ， 其 质量 优 劣 深刻 影响 着 各 行 
各 业 的 发 展 和 人 们 的 日 常生 活 。 对 软件 测试 技术 的 学 习 与 应 用 越 来 越 得 到 IT 从 业 人 员 的 重视 。 

本 章 介绍 软件 测试 的 行业 需求 、 现 状 和 发 展 历程 ， 给 出 软件 测试 的 基本 概念 、 目 的 、 分 类 
和 原则 ， 说 明 软件 测试 过 程 、 常 见 测试 模型 和 测试 用 例 。 目 的 在 于 使 读者 在 深入 学 习 有 具体 测试 
技术 之 前 ， 首 先 建立 起 正确 和 全 面 的 测试 思想 ， 理 解 和 掌握 软件 缺陷 、 软 件 测试 、 测 试 过 程 模 
型 和 测试 用 例 编写 规范 等 基本 软件 测试 知识 。 


软件 测试 行业 需求 与 现状 


近年 来 ， 我 国 软件 测试 行业 一 直 呈 现 出 迅猛 发 展 的 势头 ， 留 意 一 下 51Job 和 中 华 英才 网 有 
关 软 件 测试 工程 师 的 大 量 招聘 信息 即 可 体会 一 二 。 据 国家 权威 部 门 统计 ， 中 国 软件 测试 人 才 缺 
口 高 达 30 多 万 ， 并 且 仍 以 每 年 20% 的 速度 增加 。 这 一 现象 背后 的 主要 原因 是 ， 随 着 软件 行业 
竞争 的 加 剧 和 用 户 对 于 软件 产品 质量 意识 的 逐步 提升 ， 国 内 软件 企业 都 在 加 大 对 于 软件 质量 管 
理 的 投入 。 我 国 软件 行业 起 步 较 晚 ， 大 量 软件 企业 在 发 展 初期 往往 重 开发 而 轻 测 试 ， 软 件 质量 
管理 意识 薄弱 ， 为 抢占 市 场 和 降低 运营 成 本 ， 片 面 追求 软件 开发 的 短平快 ， 不 少 企业 因 软件 产 
品质 量 问题 而 导致 生存 极其 困难 。 

我 国 软件 测试 行业 虽然 经 历 了 近 几 年 的 快速 发 展 , 但 是 仍然 非常 薄弱 ， 比 较 明显 的 反映 是 软件 
测试 和 开发 工程 师 在 人 员 比 例 上 的 严重 失衡 。 国际 上 公认 的 软件 测试 和 开发 工程 师 人 员 配 置 比例 标 
准 是 1 : 1， 国 外 一 些 开发 大 型 、 复 杂 软件 系统 的 成 熟 企业 (如 微软 公司 )， 软 件 测试 人 员 和 开发 人 员 
的 比例 约 为 2 : 1, 表 1-1 中 是 微软 公司 两 个 大 型 软件 产品 在 开发 过 程 中 开发 人 员 和 测试 人 员 的 比例 。 


表 1-1 微软 公司 Exchange 2000 和 Windows 2000 项 目的 测试 人 员 和 开发 人 员 比 例 


Windows 2000 
项 目 经 理 250 人 
开发 人 员 1700 人 
测试 人 员 3200 人 


测试 人 员 与 开发 人 员 比例 19:1 


但 是 如 图 1-1 所 示 ， 能 够 达到 上 述 合理 比例 的 国内 企业 数量 仅 占 7%，1 : 7 以 上 配置 比例 
的 企业 数量 仍然 高 达 189%6， 这 从 一 个 侧面 反映 了 我 国 软件 测试 行业 的 成 熟 度 与 国外 相 比 还 有 很 
大 的 差距 ， 同 时 也 说 明 其 增长 空间 是 巨大 的 。 随 着 移动 计算 、 互 联网 +、 物 联网 和 大 数据 的 兴 
起 ， 我 国 软件 产业 在 今后 必 将 蓬勃 发 展 ， 但 是 软件 测试 人 才 的 极度 短缺 会 成 为 制约 软件 产业 发 
展 的 瓶颈 ， 这 一 状况 的 改善 需要 一 定 的 时 间 。 除 此 之 外 ， 国 内 软件 测试 行业 在 对 测试 的 理解 和 
认识 、 对 测试 过 程 的 正规 化 管理 、 对 自动 化 测试 工具 的 使 用 和 对 测试 人 员 的 培养 方面 也 存在 着 
诸多 不 足 之 处 。 


1:7(6%) 
1:1(7%) 1:3(20%) 


1:6(9%)__ 


1:2(12%) 1:7 以 上 
(18%) 


1:5(14%)_ 7 


1:4(14%) 


图 1-1 软件 测试 人 员 和 开发 人 员 比 例 


软件 测试 职业 有 具有 良好 的 发 展 空间 和 独特 的 职业 优势 ， 除 了 上 述 谈 到 的 软件 测试 人 才 需 求 
量 越 来 越 大 的 特点 外 ， 其 职业 优势 还 体现 在 以 下 几 个 方面 : 

(1) 职业 门槛 不 高 。 通 过 短期 系统 化 地 学 习 软 件 测试 理论 和 技术 ， 就 能 胜任 基本 的 软件 测 
试 工作 。 但 需要 注意 的 是 ， 软 件 测试 工作 对 于 专业 综合 素质 要 求 比较 高 。 

(2) 职业 生命 周期 长 。 软 件 测试 工作 没有 年 龄 限制 ， 更 多 的 是 要 求 经 验 和 耐心 ， 随 着 测试 
经 验 的 不 断 丰 富 与 积累 ， 职 业 价值 会 越 来 越 高 。 

(3) 无 性 别 偏好 。 软 件 开 发 岗位 因 种 种 原因 男性 从 业 人 员 较 多 ， 软 件 测试 工作 对 于 耐心 细 
致 、 条 理性 、 沟 通 与 交流 能 力 等 相对 偏重 ， 工 作 压 力 和 强度 相对 较 小 。 据 统计 ， 目 前 软件 测试 
领域 女性 比例 比 男性 稍 多 一 点 ， 维 持 在 男女 比例 较 均 衡 的 状态 。 

(4) 多 元 化 发 展 ， 职 业 空间 广阔 。 测试 人 员 不 但 需要 对 软件 的 质量 进行 检测 ， 还 能 接触 到 
与 软件 相关 的 各 行 各 业 ， 项 目 管理 、 沟 通 协调 、 市 场 需求 分 析 等 能 力 都 能 得 到 很 好 的 锻炼 ， 从 
而 为 自己 的 多 元 化 发 展 黄 定 基础 ， 经 过 一 两 年 实践 后 ， 很 容易 晋升 到 主管 、 项 目 经 理 等 高 级 
职位 。 

如 图 1-2 所 示 ， 据 统计 ， 软 件 测试 人 员 所 属 行业 主要 是 通信 及 互联 网 行业 、 应 用 软件 行业 
和 人 金融 行业 ， 所 占 比例 分 别 为 41%、20% 和 14%， 三 者 总 体 占 比 达到 75%。 这 一 数据 从 一 个 侧 
面 反映 了 在 我 国信 息 化 建设 过 程 中 ， 软 件 产品 开发 和 应 用 色彩 浓厚 的 企业 受到 社会 和 个 人 的 青 
睐 ， 测 试 人 才 需 求 量 不 断 上 升 。 可 以 预见 的 是 ， 随 着 我 国 建设 数字 化 强国 战略 的 实施 ， 电 子 、 
教育 、 政 府 和 工业 控制 等 行业 对 于 软件 测试 人 才 的 需求 量 还 将 不 断 扩大 。 
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其 他 7% 


基础 软件 及 PC 


工业 控制 2% 
1-2 软件 测试 人 员 所 属 行 业 分 布 


从 软件 测试 职业 发 展 方向 来 看 ， 大 体 可 以 分 为 技术 和 管理 两 个 方向 。 根 据 测试 能 力 和 经 验 
的 不 同 ， 技 术 方向 又 可 分 为 初级 、 中 级 和 高 级 3 个 技术 阶段 。 

1) 初级 技术 阶段 

大 体 涵盖 初级 和 中 级 软件 测试 工程 师 职 位 ， 一 般 是 进入 软件 测试 行业 3 年 以 内 的 常规 测试 
从 业者 所 经 历 的 阶段 。 处 于 这 一 阶段 的 测试 人 员 的 工作 内 容 主要 是 接受 测试 主管 分 配 的 任务 ， 
根据 已 有 测试 计划 、 流 程 和 方案 编写 和 执行 测试 用 例 、 提 交 软 件 缺陷 报告 、 完 成 阶段 性 测试 报 
告 以 及 参与 部 分 阶段 性 评审 工作 。 

初级 测试 工程 师 一 般 需 要 熟悉 软件 测试 理论 和 技术 、 测试 用 例 编写 方法 、 测 试 流程 和 规范 、 
常用 测试 管理 工具 ， 能 够 独立 设计 测试 方案 和 编写 测试 报告 ， 主 要 完成 软件 功能 测试 任务 。 中 
级 测试 工程 师 一 般 需 要 能 够 制定 测试 计划 、 审 核 功能 需求 和 设计 文档 、 编 写 自动 化 测试 脚本 ， 
并 且 能 够 合理 运用 测试 工具 完成 自动 化 测试 ， 提 交 质 量 分 析 报告 。 

2) 中 级 技术 阶段 

处 于 此 阶段 的 软件 测试 从 业 人 员 已 经 能 够 胜任 自动 化 测试 工程 师 、 白 盒 测 试 工程 师 、 性 能 
测试 工程 师 职 位 。 自 动 化 测试 工程 师 能 够 熟练 运用 测试 工具 进行 软件 黑 盒 测 试 。 白 盒 测 试 工程 
师 能 够 完成 单元 测试 阶段 的 代码 级 测试 ， 包 括 代码 走读 、 逻 辑 测试 、 代 码 效率 检查 和 覆盖 率 分 
析 等 。 由 于 需要 熟练 掌握 程序 语言 ， 因 此 技术 要 求 较 高 。 性 能 测试 工程 师 需要 能 够 在 功能 测试 
后 对 系统 性 能 指标 进行 测试 分 析 ， 综 合 技术 能 力 要 求 非常 高 ， 要 求 熟练 掌握 软件 开发 、 操 作 系 
统 、 数 据 库 、 应 用 服务 器 、 网 络 协 议 等 理论 和 技术 ， 这 样 才能 够 准确 捕捉 和 定位 性 能 问题 。 

3) 高 级 技术 阶段 

相 比 于 中 级 技术 阶段 的 技术 能 力 要 求 ， 高 级 技术 阶段 的 自动 化 测试 工程 师 不 仅 需 要 能 够 完 
成 自动 化 测试 脚本 的 设计 和 开发 ， 还 需要 能 够 设计 数据 驱动 ， 开 发 测试 框架 以 及 自主 开发 测试 
特定 业务 所 需要 的 一 些 企业 内 部 小 型 测试 工具 。 对 于 白 盒 测试 来 讲 ， 需 要 结合 不 同 软件 架构 和 
多 种 开发 技术 ， 寻 找 最 为 有 效 的 代码 测试 方法 ， 并 且 具 有 对 代码 进行 优化 的 能 力 。 对 于 性 能 测 
试 来 讲 ， 需 要 具备 设计 整体 性 能 测试 方案 的 能 力 ， 这 就 要 求 对 主流 的 软件 开发 模式 和 应 用 系统 
具备 丰富 的 知识 和 经 验 。 

从 技术 能 力 上 来 讲 ， 安 全 测试 工程 师 已 经 属于 高 级 技术 阶段 的 职位 。 这 是 由 于 安全 测试 工 
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程 师 必须 具有 极 高 的 专业 理论 和 技术 水 平 ， 对 安全 标准 和 体系 、 操 作 系 统 与 网 络 、 软 件 开发 模 
式 和 架构 、 软 件 系统 功能 和 性 能 测试 等 都 要 有 很 丰富 的 经 验 ， 这 样 才能 预见 软件 安全 漏洞 并 且 
进行 尝试 性 攻击 ， 完 成 安全 性 测试 任务 。 
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40.0% 

30.0% 

20.0% 

“0% [有 证 一 

2 -入 i 

初级 | 测试 | 高 级 | 主管 | 测试 测试 /| 测试 | 测试 | 性 能 
测试 工程 | 测试 | 或 测 | 部 门 | 质量 | 分 析 | 架构 | 测试 
工程 师 - 工程 | 试 项 | | ed ld 


经 理 | 总 监 | 师 | 师 


师 师 | 目 经 


理 
旧历 史 平均 |18.0%|48.0%| 8.9% |13.0%| 6.3% | 0.9% | 0.4% | 0.4% | 1.1% | 1.8% | 2.8% 
2016 年 |16.0%|49.0%|10.0%| 5.0% |13.0%| 1.0% | 0.4% | 0.3% | 1.0% | 2.0% | 3.0% 
图 1-3 软件 测试 人 员 职 位 分 布 

软件 测试 职业 向 管理 方向 发 展 ， 一 般 会 经 历 测试 主管 、 测 试 经 理 和 测试 总 监 3 个 职位 。 

1) 测试 主管 

一 般 由 具备 3~5 年 软件 测试 经 验 的 人 员 担任 ， 其 工作 职责 通常 是 根据 项 目 经 理 或 测试 经 理 
的 计划 安排 ， 负 责 调配 1~3 名 测试 工程 师 完成 模块 级 或 项 目 级 测试 工作 。 测 试 主管 需要 熟练 党 
握 各 种 测试 方法 ， 具 备 过 硬 的 测试 技术 ， 其 具体 工作 内 容 往往 是 负责 测试 流程 的 具体 实施 ， 在 
思考 如 何 对 软件 进行 深入 、 全 面 测试 的 基础 上 完成 测试 设计 工作 。 

2) 测试 经 

一 般 由 管理 和 技术 能 力 都 比较 成 熟 的 资深 测试 人 员 担任 ， 负 责 调配 业务 测试 、 功 能 测试 、 
性 能 测试 等 不 同类 型 测试 工程 师 ， 完 成 企业 级 或 大 型 项 目 级 软件 总 体 测试 工作 的 策划 和 实施 。 
除 此 之 外 , 还 需要 研究 不 同 软件 架构 和 开发 技术 下 的 测试 方法 , 为 测试 团队 成 员 提供 业务 指导 。 

3) 测试 总 监 

在 大 型 软件 企业 或 专门 提供 测试 服务 的 企业 中 一 般 会 设立 该 职位 。 测 试 总 监 负责 企业 级 全 
部 测试 及 产品 质量 保障 工作 ， 全 面 管理 企业 的 相关 测试 资源 。 

由 图 1-3 的 统计 结果 可 知 ， 虽 然 软件 测试 职位 具有 很 多 分 类 ， 但 是 初级 和 普通 的 测试 工程 
师 两 者 占 比 之 和 高 达 55%， 高 精 专 的 技术 和 管理 测试 人 才 非 常 稀缺 ， 反 映 了 IT 行业 从 来 都 是 
“ 千 军 易 得 ， 一 将 难 求 ”的 行业 特征 。 


软件 中 的 Bug 


1.2.1 ”Bug 与 软件 缺陷 
我 们 常 说 ， 软 件 测试 就 是 寻找 软件 中 的 Bug。Bug 是 “虫子 ”的 意思 ， 现 在 人 们 将 计算 机 
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系统 或 程序 中 隐藏 的 问题 、 缺 陷 或 漏洞 统称 为 Bug。 在 软件 测试 领域 ， 我 们 一 般 使 用 更 为 正规 
的 名 词 : 软件 缺陷 (Software Defect)。 

软件 缺陷 的 含义 比较 宽泛 ， 国 内 软件 可 靠 性 工程 领域 广泛 使 用 的 定义 为 : 软件 缺陷 就 是 存 
在 于 软件 (程序 、 数 据 和 文档 ) 中 的 那些 不 希望 或 不 可 接受 的 偏差 ， 会 导致 软件 产生 质量 问题 。 
在 这 里 需要 注意 两 点 : 一 是 这 里 所 说 的 偏差 是 指 软件 与 用 户 需 求 的 偏差 ， 二 是 不 仅 是 程序 ， 各 
类 软件 文档 中 的 错误 也 属于 软件 缺陷 ， 都 是 Bug! 

IEEE 国际 标准 729 一 1983 中 给 出 的 软件 缺陷 标准 定义 是 : 从 软件 产品 内 部 看 , 软件 缺陷 是 
软件 开发 或 维护 过 程 中 存在 的 错误 、 毛 病 等 各 种 问题 ， 从 软件 产品 外 部 看 ， 软 件 缺 陷 是 系统 所 
需要 实现 的 某 种 功能 的 失效 或 违背 。 

通常 认为 ， 只 要 符合 下 面 5 条 规则 中 的 任意 一 条 ， 就 是 软件 缺陷 : 

(1) 软件 未 达到 软件 规格 说 明 书 中 规定 的 功能 ; 

(2) 软件 超出 软件 规格 说 明 书 中 指明 的 范围 ; 

(3) 软件 未 达到 软件 规格 说 明 书 中 指出 的 应 达到 的 目标 ; 

(4) 软件 运行 出 现 错误 ; 

(5) 软件 难以 理解 ， 不 易 使 用 ， 运 行 速度 慢 ， 或 者 最 终 用 户 认为 使 用 效果 不 好 。 

在 一 些 外 文书 籍 中 ， 只 是 将 软件 测试 执行 过 程 中 发 现 的 问题 称 为 Bug， 而 将 软件 需求 和 设 
计 阶段 引入 的 错误 称 为 Defect( 缺 陷 )， 将 编码 错误 称 为 Error( 错 误 )， 将 软件 交付 用 户 使 用 过 程 
中 的 错误 称 为 Failure( 故 障 )。 这 种 狭义 上 的 概念 划分 我 们 了 解 即 可 。 

Bug 一 词 的 产生 来 源 于 一 次 有 趣 的 历史 事件 。 

1945 年 9 月 9 日 ,美国 海军 的 Grace Hopper 中 尉 作为 程序 员 正 在 研制 一 台 被 称 为 MARK II 
的 计算 机 。 那 时 的 计算 机 还 不 是 完全 的 电子 计算 机 ， 需 要 使 用 大 量 的 继电器 完成 工作 。 因 为 下 
值 炎热 的 夏天 ， 机 房 又 位 于 一 栋 没 有 空调 的 老 建筑 内 ， 因 此 为 了 散热 ， 所 有 窗户 都 敞开 着 。 突 
然 , MARK eM Grace Hopper 径 过 排查 ， 在 计算 机 的 继电器 里 ， 找到 了 一 只 被 继电器 打 


we “Bug”。 这 一 称呼 后 来 演变 成 表达 摧 陷 沁 油 的 计算 机 专业 术语 和 人们 
习惯 地 把 排除 程序 故障 叫 作 “Debug”( 除 虫 )。 这 一 事件 记录 和 那 只 飞 蛾 可 以 被 称 作 第 一 个 Bug 
记录 手稿 (如 图 1-4 所 示 )， 现 在 陈列 在 美国 历史 博物 馆 中 。 这 就 是 我 们 今天 所 说 的 Bug 的 由 来 ， 
它 最 初 竟然 真 的 就 是 “一 只 虫子 ”。 
hh 
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图 1-4 第 一 个 Bug 记录 手稿 
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值得 一 提 的 是 ，Grace Hopper( 如 图 1-5 所 示 ) 后 来 成 为 美国 海军 少将 ， 她 是 第 一 个 程序 语言 
编译 器 的 开发 者 ， 第 一 个 使 用 词语 的 计算 机 语言 开发 者 ， 第 一 个 商用 编程 语言 COBOL 的 开发 
者 ， 是 与 阿兰 。 图 灵 、 史 蒂 夫 。 乔 布 斯 、 比 尔 。 盖 茨 等 一 同 入 选 “IT 界 十 大 最 有 远见 的 人 才 ” 
的 唯一 一 位 女性 。2016 年 ，Grace Hopper 被 奥巴马 追 授 总 统 自由 勋章 ， 这 是 美国 平民 所 能 获得 
的 最 高 荣誉 。 


A 


:p< 


Rear. Adm. 
Grace Hopper 


1-5 Grace Hopper 


1.2.2 ”软件 Bug 的 普遍 性 与 危害 性 


今天 ， 在 我 们 的 日 常生 活 中 所 能 碰 到 的 软件 Bug， 多 到 了 令 人 难以 置信 的 程度 。 就 拿 我 们 
经 常 使 用 的 Windows 系统 来 说 , 它 的 每 一 个 版 本 中 都 含有 太 多 的 Bug， 从 微软 公司 每 发 布 新 的 
Windows 版 本 后 不 断 推出 补丁 程序 这 一 现象 我 们 就 能 站 知 一 二 。 据 报道 ， 早 期 的 Windows 95 
中 含有 5000 多 个 Bug! 即使 目前 最 新 版 本 的 Windows 系统 也 仍然 有 似乎 无 数 的 Bug 被 不 断 地 
发 现 。 再 看 看 我 们 手机 中 的 Android 系统 ， 越 用 越 慢 ， 无 缘 无 故 死机 ， 各 种 Bug 频 出 。 

据 统 计 ， 每 年 因 软件 问题 会 让 美国 经 济 损失 近 600 亿美 元 。 软 件 Bug 的 普遍 存在 影响 的 不 
仅仅 是 我 们 的 日 常生 活 ， 历 史上 很 多 灾难 性 事件 的 发 生 都 是 由 软件 Bug 引起 的 。 

1979 年 11 月 28 日 ,新西兰 航空 901 号 班机 因 计算 机 控制 的 自动 飞行 系统 发 生 故 障 在 南极 
洲 埃 里 伯 斯 火山 撞 山 坠毁 ， 机 上 237 名 乘客 及 20 名 机 组 成 员 全 部 外 难 。 

1982 年 夏天 ， 苏 联 西 伯 利 亚 天 然 气管 线 发 生 一 次 特大 爆炸 ， 这 次 爆炸 对 苏联 经 济 的 打击 异 
常 沉重 。 由 于 天 然 气管 线 设计 十 分 复杂 ， 需 要 一 种 高 级 自动 控制 软件 进行 控制 ， 当 时 苏联 人 还 
没 能 掌握 相关 技术 。 苏 联 政府 向 美国 公司 求购 遭 到 拒绝 ， 随 后 派 遗 间谍 进入 一 家 加 拿 大 公司 企 
图 盗 取 这 一 技术 。 美 国 中 情 局 特工 决定 让 苏联 人 得 到 一 种 “特殊 版 本 ”的 自动 控制 软件 ， 并 且 
将 这 种 软件 提供 给 所 有 可 能 已 被 苏联 间谍 渗透 的 加 拿 大 公司 .苏联 间谍 果然 偷 走 有 问题 的 软件 ， 
导致 前 面 提 到 的 大 爆炸 。 

1987 年 10 月 19 日 ， 道 琼斯 指数 一 天 之 内 下 跌 达 22.6%， 创 下 历史 单 日 最 大 跌幅 ， 引 发 金 
融 市 场 恐 慌 ， 股 市 一 天 就 损失 5000 亿美 元 。 很 多 人 认为 这 场 股灾 是 因 程 序 交 易 引 起 的 , 计算 机 
程序 看 到 股价 下 挫 ， 便 按 早 就 设 定好 的 机 制 大 量 抛售 股票 ， 造 成 系统 崩溃 ， 导 致 大 多 数 的 投资 
者 盲目 跟从 ， 从 而 形成 恶性 循环 ， 令 股价 加 速 下 跌 。 

1991 年 2 月 25 号 ， 海 湾 战 争 期 间 ， 一 枚 美国 的 爱国 者 导弹 因为 基于 内 部 时 钟 的 时 间 计算 
缺陷 ， 无 法 在 沙特 阿拉 伯 的 达 兰 成 功 拦截 伊拉克 发 射 过 来 的 一 枚 飞毛腿 导弹 。 该 飞毛腿 导弹 击 
中 该 地 区 的 一 个 美军 军营 并 导致 28 名 士兵 阵亡 .美国 审计 总 署 提供 的 报告 描述 了 该 拦截 失败 的 
原因 ， 其 标题 为 : “爱国 者 导弹 防御 : 软件 缺陷 导致 防御 系统 在 沙特 阿拉 伯 达 兰 的 拦截 失败 ”。 
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1996 年 6 月 4 日 ， 欧 洲 航天 局 发 射 的 一 架 未 载 人 的 阿 丽 亚 娜 5 号 火箭 ， 在 发 射 升 空 40 秒 
之 后 发 生 了 爆炸 。 这 项 造价 70 亿美 元 的 火箭 项 目 是 10 年 研发 后 的 首次 发 射 。 损 毁 的 火箭 和 货 
仓 就 价值 5 亿美 元 。 事 故 调查 委员 会 两 周 后 给 出 了 爆炸 的 起 因 ， 声 称 是 惯性 参考 系统 的 一 个 软 
件 错 误 引 发 的 。 

2016 年 10 月 19 日 ， 欧 洲 太 空 总 署 火星 登陆 器 “斯 基 亚 帕 雷 利 ” 荃 毁 在 火星 表面 。 欧 洲 航 
天 局 事后 宣布 ， 事 故 原因 调查 发 现 ， 由 于 用 以 测量 登陆 器 旋转 速度 的 数据 错误 ， 登 陆 系 统 软件 
认为 登陆 器 已 经 着 陆 ， 提 早 释 放 了 降落 例 ， 而 减速 用 的 推进 器 只 点 火 几 秒 就 终止 ， 当 时 它 仍然 
位 于 火星 表面 上 方 3.7 公里 处 。 错 误 虽 只 持续 了 一 秒 ， 但 足以 破坏 登陆 器 的 导航 系统 。 

以 上 我 们 列举 了 一 些 历史 上 发 生 在 航空 、 航 天 、 能 源 、 金 融和 军事 领域 的 典型 软件 缺陷 案 
例 ， 但 这 仅仅 是 “软件 Bug 灾难 史 ” 的 一 小 部 分 ! 今天 ， 随 着 软件 无 所 不 在 ， 软 件 Bug 也 总 是 
如 影 随 形 。 软 件 测试 就 是 为 了 发 现 和 清除 软件 缺陷 ， 生 产 出 满足 人 们 需要 的 高 质量 软件 产品 。 


1.2.3 ”软件 缺陷 产生 的 原因 


软件 中 有 如 此 多 的 缺陷 ， 其 产生 原因 是 多 方面 的 。 我 们 具体 分 为 软件 、 技 术 、 团 队 和 管理 
四 个 方面 并 进行 分 析 ( 如 图 1-6 所 示 )。 


技术 
计算 精度 问题 


需求 分 析 不 清晰 
系统 设计 不 合理 


软件 运行 环境 复杂 
Ee 
算法 与 语法 错误 。 软件 兼容 性 问题 


软件 规模 和 复杂 度 高 


人 人 


接口 与 软件 集成 问题 


软件 能 力 成 熟 度 低 
缺乏 严格 的 评审 机 制 
不 充分 的 测试 


不 熟悉 领域 知识 
开发 周期 短 缺乏 沟通 与 协作 


开发 水 平 欠缺 
人 力 资 源 不 足 


管理 


图 1-6 软件 缺陷 产生 的 原因 


1) 软件 自身 因素 

软件 是 具有 复杂 运算 逻辑 的 产品 ， 软 件 的 规模 越 来 越 庞大 ， 复 杂 度 也 越 来 越 高 ， 软 件 是 由 
人 开发 的 ， 因 此 不 可 能 完美 无 缺 ， 软 件 缺陷 是 难以 避免 的 。 实 践 表明 ， 软 件 需求 和 设计 问题 是 
导致 软件 缺陷 的 主要 原因 ， 包 括 软件 需求 说 明 书 编写 不 全 面 、 不 完整 、 不 准确 ， 需 求 分 析 时 与 
用 户 交流 不 足 ， 需 求 的 频繁 变更 ， 以 及 开发 人 员 不 能 很 好 地 理解 需求 说 明 书 和 沟通 不 足 等 。 当 
需求 分 析 人 员 与 用 户 沟通 的 时 候 ， 没 有 详细 了 解 到 用 户 的 具体 需求 ， 导 致 需求 分 析 不 够 全 面 。 
分 析 人 员 可 能 会 误解 用 户 需求 ， 或 者 做 软件 分 析 说 明 书 时 出 现 误差 。 软 件 设计 人 员 在 体系 结构 
或 构件 设计 方面 可 能 设计 得 不 够 合理 。 编 程 人 员 按 照 软件 设计 说 明 实 现 软件 时 ， 也 可 能 在 理解 
和 沟通 上 出 现 问 题 ， 做 出 的 产品 与 设计 不 符 。 除 此 之 外 ， 软 件 运行 环境 的 复杂 性 以 及 兼容 性 等 
问题 ， 也 是 软件 缺陷 产生 的 重要 原因 。 
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2) 软件 涉及 的 具体 技术 问题 

软件 开发 会 涉及 大 量具 体 的 技术 问题 ， 如 算法 、 语 法 、 软 件 接口 、 计 算 精度 、 软 件 安全 、 
性 能 保障 以 及 模块 封装 与 集成 ， 等 等 。 对 于 任何 一 项 技术 ， 如 果 有 处 理 不 当 之 处 ， 都 会 产生 软 
件 缺 陷 。 

3) 开发 团队 问题 

开发 团队 如 果 出 现 业 务 领域 知识 不 足 、 开 发 水 平 达 不 到 要 求 、 人 员 之 间 缺 乏 沟通 与 协作 以 
及 软件 项 目 团队 人 力 资 源 不 足 的 情况 ， 都 会 埋 下 产生 软件 缺陷 的 隐患 。 

4) 项 目 管理 问题 

大 量 的 软件 项 目 难 以 按照 计划 的 进度 和 预算 完成 ， 超 预算 和 超 进 度 的 情况 比比 省 是 。 软 件 
项 目 进 度 和 预算 的 压力 必然 会 对 软件 项 目 管理 造成 影响 ， 使 得 原 有 的 软件 质量 控制 目标 难以 达 
成 。 保 证 软件 质量 的 测试 工作 是 相当 耗 时 的 ， 一 个 软件 项 目 往往 需要 经 过 很 多 次 的 测试 才能 将 
软件 缺陷 的 数量 降低 到 可 以 接受 的 程度 。 此 外 ， 软 件 能 力 成 熟 度 低 、 技 术 文档 缺失 、 评 审 不 严 
格 等 管理 问题 必然 会 引发 大 量 的 软件 缺陷 。 


什么 是 软件 测试 


我 们 都 知道 测试 的 英文 是 Test， 源 于 拉丁 语 Testum， 原 意 是 罗马 人 使 用 的 一 种 陶 镀 ， 用 来 
评估 稀有 矿石 类 材料 的 质量 。 从 这 一 点 我 们 就 可 以 知道 ， 测 试 和 产品 质量 是 紧密 联系 的 。 测 试 
事实 上 包含 硬件 测试 和 软件 测试 两 个 方面 , 在 本 书 中 特 指 软件 测试 (Software Testing)。 软 件 测试 
在 其 发 展 历程 中 有 过 不 同 的 定义 和 观点 ， 了 解 它们 有 助 于 建立 正确 的 软件 测试 思想 。 


1.3.1 软件 测试 的 发 展 历程 


迄今 为 止 ， 软 件 测试 的 发 展 一 共 经 历 了 五 个 重要 时 期 。 

1) 1957 年 之 前 ， 以 调试 为 主 (Debugging Oriented) 

20 世纪 50 年 代 ， 英 国 科学 家 图 灵 就 给 出 了 软件 测试 的 原始 定义 : “测试 是 程序 正确 性 证 
明 的 一 种 极端 实验 形式 ”。 由 于 当时 的 软件 规模 小 、 复 杂 度 低 、 开 发 过 程 无 序 ， 测 试 被 等 同 于 
软件 调试 ， 真 正 意义 上 的 软件 测试 还 未 形成 。 

2) 1957 一 1978 年 ， 以 证 明 为 主 (Demonstration Oriented) 

1957 年 之 后 ， 软 件 测 试 和 软件 调试 才 被 区 分 开 来 ， 成 为 一 种 发 现 软件 缺陷 的 独立 活动 。 但 
是 ， 此 时 的 测试 活动 往往 在 代码 完成 之 后 进行 。 相 比 于 软件 开发 ， 软 件 测试 的 投入 非常 少 ， 而 
且 缺 乏 有 效 的 测试 方法 。20 世纪 50 年 代 后 期 到 60 年 代 ， 虽 然 高 级 语言 相继 出 现 ， 软 件 复杂 度 
增加 ， 但 是 相 比 于 硬件 系统 而 言 ， 软 件 处 于 次 要 地 位 ， 其 正确 性 仍然 主要 依赖 软件 开发 人 员 的 
水 平 。 这 一 时 期 ， 软 件 测试 理论 和 方法 的 发 展 都 很 缓慢 ， 测 试 主要 以 功能 验证 为 主 ， 测 试 被 看 
作证 明 软 件 正确 性 的 一 种 方法 。1957 年 ，Charles Baker 对 调试 和 测试 进行 了 区 分 : 调试 (Debug) 
是 确保 程序 做 了 程序 员 希 望 它 做 的 事情 ， 而 测试 (Testing) 是 确保 程序 解决 了 它 该 解决 的 问题 。 
这 一 区 分 是 软件 测试 史上 的 一 个 重要 里 程 碑 ， 它 标志 着 测试 首次 具有 了 独立 性 。 

1972 年 ， 在 美国 的 北 卡 罗 莱 纳 大 学 举办 了 历史 上 首届 正式 的 软件 测试 会 议 ， 标志 着 软件 测 
试 作为 一 个 学 科 正 式 诞 生 了 。 软 件 测试 一 直 与 软件 工程 的 发 展 紧密 相关 。20 世纪 60 年 代 中 期 
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之 后 ， 随 着 软件 应 用 数量 的 急剧 增长 ， 软 件 危 机 合演 愈 烈 。 为 了 研究 如 何 通过 系统 化 和 工程 化 
的 方法 应 对 软件 危机 ，1968 年 北大 西洋 公约 组 织 在 联邦 德国 召开 国际 会 议 , 会 议 上 正式 提出 了 
“软件 工程 ”这 一 名 词 , 标志 着 软件 工程 学 科 的 诞生 。 随 着 软件 开发 在 软件 工程 方法 指导 下 不 断 
正规 化 ， 软 件 测试 理论 和 方法 也 不 断 完善 。1973 年 ，William C. Hetzel 整理 出 版 了 软件 测试 的 
第 一 本 著作 Program Test Methods， 对 测试 方法 和 测试 工具 进行 了 论述 。1975 年 ，Goodenough 
和 Gerhart 首次 提出 了 软件 测试 的 理论 ， 使 得 软件 测试 成 为 具有 理论 指导 的 实践 性 学 科 。 

3) 1979 一 1982 年 ， 以 破坏 为 主 (Destruction Oriented) 

1979 年 ，Glenford J. Myers( 见 图 1-7) 出 版 了 对 软件 测试 行 
业 影 响 深远 的 著作 《软件 测试 的 艺术 》， 他 在 书 中 给 出 了 具有 
开创 性 意义 的 软件 测试 定义 : “测试 是 为 了 发 现 错误 而 执行 程 
序 或 系统 的 过 程 ”。 这 一 时 期 ， 软 件 测试 的 重要 意义 逐渐 被 人 
们 所 认识 ， 逐 渐 产生 了 专业 的 测试 人 员 ， 也 出 现 了 一 些 专门 的 
测试 工具 。 同 时 ， 人 们 也 意识 到 ， 测 试 不 仅 是 编码 之 后 的 一 项 
工作 ， 为 了 减少 改正 软件 错误 的 成 本 ， 测 试 工作 必须 在 软件 生 
命 周 期 的 前 期 需求 和 设计 阶段 就 开始 进行 ， 并 且 需 要 制定 周密 
的 测试 计划 。 受 这 种 软件 测试 思想 的 影响 ， 在 这 一 时 期 ， 测 试 
往往 以 破坏 性 为 导向 ， 被 看 作 从 软件 中 寻找 错误 的 过 程 。 国 1 Se 

4) 1983 一 1987 年 ， 以 评估 为 主 (Evaluation Oriented) 

20 世纪 80 年 代 以 来 ， 软 件 行业 开始 高 速 发 展 ， 软 件 规模 不 断 增 大 ， 复 杂 度 越 来 越 高 ， 并 
且 以 各 种 形式 应 用 于 各 行 各 业 ， 深 刻 影 响 着 人 们 的 生活 。 因 此 软件 的 质量 变 得 越 来 越 重 要 。 软 
件 测试 需要 运用 专门 的 方法 、 手 段 和 工具 才能 满足 测试 时 间 和 成 本 的 要 求 ， 各 种 实用 的 软件 测 
试 工具 应 运 而 生 。 这 一 阶段 的 测试 内 涵 也 发 生 了 转变 ， 测 试 不 再 是 单纯 发 现 错误 的 过 程 ， 而 是 
包含 软件 质量 评价 的 内 容 。 软 件 测试 成 为 保障 软件 质量 的 重要 手段 ， 并 且 完 全 融 于 整个 软件 开 
发 生命 周期 。 正 如 1983 年 软件 测试 先驱 Bi 记 Hetzel 在 其 著作 The Complete Guide to Sofiware 
Testing 中 所 描述 的 软件 测试 内 涵 : “测试 是 以 评价 程序 或 系统 属性 为 目标 的 任何 一 种 活动 ， 是 
对 软件 质量 的 度量 ”。 这 一 时 期 ， 出 现 了 测试 领域 著名 的 两 个 名 词 : 验证 (Verification) 和 确认 
(Validation)。 人 们 提出 了 在 软件 生命 周期 中 通过 分 析 、 评 审 和 测试 来 评估 软件 产品 的 理论 。 

5) 1988 年 至 今 ， 以 预防 为 主 (Prevention Oriented) 

2002 年 ，Rick D. Craig 和 Stefan P. Jaskiel 在 Systematic Sofiware Testing 一 书 中 对 软件 测试 
进一步 阐述 为 : “测试 是 为 了 度量 和 提高 被 测 软件 的 质量 ， 对 测试 软件 进行 工程 设计 、 实 施 和 
维护 的 整个 生命 周期 过 程 ”， 进 一 步 明 确 了 软件 测试 的 目的 、 价 值 以 及 测试 活动 的 系统 性 。 这 
一 时 期 ， 预 防 为 主 成 为 软件 测试 的 主流 思想 之 一 。STEP(Systematic Test and Evaluation Process) 
是 最 早 的 一 个 以 预防 为 主 的 测试 生命 周期 模型 ， 该 模型 体现 了 测试 与 开发 的 并 行 性 ， 强 调 了 整 
个 测试 的 生命 周期 也 由 计划 、 分 析 、 设 计 、 开 发 、 执 行 和 维护 组 成 。 也 就 是 说 ， 测 试 不 是 在 编 
码 完成 后 才 开始 介入 ， 而 是 贯穿 于 整个 软件 生命 周期 。 百 分 之 百 完美 的 软件 是 不 存在 的 ， 零 缺 
陷 是 不 可 能 的 ， 所 以 软件 开发 过 程 中 测试 应 当 尽 早 介入 ， 及 早 发 现 错误 。 错误 发 现 得 越 早 ， 修 
复 的 成 本 越 低 ， 产 生 的 风险 也 越 小 。 

近年 来 ， 各 种 商业 化 和 开源 的 测试 工具 大 量 出 现 ， 测 试 自动 化 程度 不 断 提 高 。 面 向 对 象 测 
试 、 面 向 构件 测试 、 敏 捷 测 试 和 测试 驱动 开发 等 测试 思想 和 方法 在 实践 中 得 到 应 用 ， 测 试 理论 
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和 技术 得 到 了 长 足 发 展 。 软 件 测试 已 成 为 一 种 快速 发 展 的 新 兴 产 业 。 


1.3.2 ”软件 测试 的 定义 


回顾 软件 测试 的 发 展 历程 ， 我 们 会 发 现 ， 在 不 同时 期 产生 过 很 多 对 软件 测试 的 定义 ， 这 些 
定义 直接 反映 了 在 当时 历史 条 件 下 人 们 对 软件 测试 的 认识 。 因 此 ， 理 解 软件 测试 的 定义 有 助 于 
我 们 正确 地 完成 软件 测试 工作 。 

在 软件 测试 的 早期 阶段 ， 曾 经 出 现 过 关于 软件 测试 正 反 两 方面 的 争论 ， 代 表 人 物 是 软件 测 
试 领域 的 两 位 先驱 Bill Hetzel 和 Glenford J. Myers。 

早 在 1973 年 ，Bil Hetzel 就 给 出 了 软件 测试 的 正式 定义 : “软件 测试 就 是 为 了 程序 能 够 按 
照 预期 设想 运行 而 建立 足够 的 信心 ”。1983 年 ， 为 了 更 清晰 地 描述 软件 测试 ，Bin Hetzel 将 软 
件 测试 的 定义 修改 为 : “软件 测试 是 为 了 评估 程序 或 软件 系统 的 特性 或 能 力 ， 并 且 确 定 其 是 否 
达到 预期 结果 的 一 系列 活动 ”。 上 述 两 个 定义 代表 了 一 种 正 向 思维 方式 ， 认 为 软件 测试 是 为 了 
验证 软件 是 “工作 的 ”， 也 就 是 为 了 验证 软件 功能 是 按照 需求 定义 和 软件 设计 的 结果 正确 执 
行 的 。 

但 是 ,Bill Hetzel 的 观点 受到 Myers 的 质疑 ,Myers 认为 软件 测试 应 当 着 眼 于 证 明 软 件 是 “不 
工作 的 ”， 应 当 用 逆向 思维 的 方式 去 发 现 尽 可 能 多 的 错误 。 因 此 ，Myers 将 软件 测试 定义 为 
“测试 是 为 了 发 现 错误 而 执行 程序 或 系统 的 过 程 ”。 

Myers 认为 ， 通 过 软件 测试 能 够 提高 程序 的 可 靠 性 和 质量 ， 实 现 途 径 是 发 现 并 修改 程序 错 
误 。 因 此 ， 需 要 尽 可 能 多 地 发 现 错误 。 人 类 心理 学 特征 造成 人 们 的 行为 具有 高 度 的 目标 性 。 如 
果 为 了 证 明 程序 能 够 正常 运行 去 进行 软件 测试 ， 潜 意识 中 就 会 倾向 于 去 实现 这 个 目标 。 可 能 造 
成 在 测试 中 不 能 尽力 思考 和 选择 那些 能 够 导致 程序 失效 的 测试 数据 ， 而 选择 一 些 常用 的 数据 ， 
测试 容易 通过 。 与 软件 开发 过 程 中 分 析 、 设 计 和 编码 等 “建设 性 ”工作 相 比 ， 软 件 测试 是 唯一 
具有 “破坏 性 ”的 活动 ， 甚 至 是 “ 施 虑 ”的 过 程 。 以 发 现 错误 为 导向 ， 才 能 更 好 地 设计 测试 用 
例 ， 去 攻击 系统 弱点 甚至 摧毁 系统 ， 以 此 发 现 系统 中 的 各 种 问题 。 另 外 ， 测 试 是 为 了 证 明 程序 
有 错 ， 而 不 能 保证 程序 没有 错误 ， 只 是 至 今 未 发 现 软件 中 所 有 潜在 的 错误 。 

上 述 正 反 两 方面 的 观点 都 具有 一 定 的 局 限 性 。 正 向 思维 很 可 能 降低 测试 的 效率 ， 不 利于 开 
拓 思 维 采用 有 效 的 方法 去 完成 测试 工作 。 但 是 ， 正 向 思维 能 够 较 好 地 界定 测试 工作 范围 ， 也 有 
利于 测试 和 开发 人 员 密 切合 作 ， 达 成 软件 质量 目标 。 逆 向 思维 有 利于 发 挥 测试 人 员 的 主观 能 动 
性 ， 测 试 效率 高 。 但 是 ， 过 分 强调 测试 的 目的 是 寻找 错误 会 造成 测试 人 员 容 易 忽视 软件 的 基本 
需求 ， 使 测试 活动 带 有 一 定 的 随意 性 和 盲目 性 。 另 外 ， 仅 仅 将 测试 定义 为 “软件 测试 就 是 为 了 
发 现 错误 而 执行 程序 或 系统 的 过 程 ”是 不 完善 的 。 例 如 ， 文 档 测试 也 属于 软件 测试 ， 但 一 般 不 
需要 运行 程序 。 未 发 现 错误 的 测试 也 是 有 意义 的 , 其 结果 可 能 说 明 系 统 基 本 功能 满足 用 户 需 求 。 

1983 年 ，IEEE 给 出 了 如 下 比较 完善 的 软件 测试 标准 定义 : “使 用 人 工 或 自动 手段 来 运行 
或 测定 某 个 系统 的 过 程 ， 其 目的 在 于 检验 它 是 否 满足 规定 的 需求 或 弄 清 预期 结果 和 实际 结果 之 
间 的 差别 ”。 该 定义 明确 说 明了 软件 测试 以 检验 软件 是 否 满足 需求 为 目标 。 预 期 结果 和 实际 结 
果 之 间 的 差别 ,也 就 是 软件 错误 ,是 测试 过 程 的 结果 而 不 是 目标 , 发 现 软 件 错误 只 是 一 种 手段 。 

软件 测试 也 可 定义 为 : 软件 测试 是 由 验证 (Verification) 和 有 效 性 确认 (Validation) 活 动 构成 的 
整体 ， 也 就 是 软件 测试 =V&V。 该 定义 反映 了 对 软件 测试 的 广义 理解 ， 有 别 于 只 把 软件 测试 看 
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作 代 码 实现 后 的 一 项 软件 工程 活动 的 狭义 理解 。 软 件 测试 是 贯穿 于 整个 软件 生命 周期 的 活动 ， 
需求 评审 和 设计 审查 等 软件 质量 保证 活动 都 属于 软件 测试 的 范围 。 测 试 对 象 不 仅 是 程序 ， 而 且 
包括 各 类 软件 开发 文档 。 
验证 是 指 检验 软件 生命 周期 的 每 个 阶段 和 步骤 的 产品 是 否 符合 产品 规格 说 明 中 定义 的 功能 
和 特性 要 求 ， 并 且 与 前 面 的 阶段 和 步骤 所 产生 的 产品 保持 一 致 性 。 验 证 通过 数据 和 证 据 表明 每 
个 软件 生命 周期 活动 是 否 已 正确 完成 ， 判 断 是 否 在 正确 地 开发 软件 产品 ， 是 否 可 以 开始 另外 的 
生命 周期 活动 ， 强 调 的 是 过 程 的 正确 性 。 有 效 性 确认 是 保证 所 开发 的 软件 是 否 真 正 满足 用 户 实 
际 需 求 , 用 数据 和 证 据 表明 是 不 是 制造 了 正确 的 产品 , 强调 的 是 结果 的 正确 性 。 1981 年 , Boehm 
给 出 了 有 关 验 证 和 有 效 性 确认 的 简洁 解释 ， 说 明了 两 者 之 间 的 区 别 : 
e@ 验证 。Are we building the product right? 也 就 是 ， 我 们 是 否 正在 正确 地 构造 软件 ? 检验 
软件 开发 过 程 中 阶段 性 产品 与 软件 规格 说 明 书 的 一 致 性 。 
e@ 有 效 性 确认 。Are we building the right product? 也 就 是 ， 我 们 是 否 构造 了 正确 的 产品 ? 
即 是 否 构造 了 用 户 需要 的 产品 。 
软件 规格 说 明 也 可 能 出 错 ， 对 用 户 需求 理解 不 当 。 只 有 验证 测试 是 不 够 的 ， 还 必须 进行 确 
认 测 试 ， 检 验 软 件 产品 功能 的 有 效 性 。 


1.3.3 ”软件 测试 认识 误区 


长 久 以 来 ， 由 于 软件 测试 没有 得 到 足够 的 重视 ， 软 件 行业 存在 着 重 开发 而 轻 测试 的 现象 。 
因此 ， 对 于 软件 测试 的 重要 性 、 测 试 技术 与 方法 、 测 试 过 程 与 管理 等 方面 都 存在 着 很 多 错误 的 
认识 。 如 果 不 对 这 些 认识 误区 加 以 纠正 ， 将 会 影响 测试 工作 的 正常 开展 ， 并 且 阻 得 测试 质量 的 
提升 与 改进 。 

误区 一 : 如 果 已 发 布 的 软件 有 质量 问题 ， 都 是 测试 人 员 的 责任 。 

产生 这 一 错误 认识 的 主要 原因 是 很 多 人 认为 软件 质量 主要 由 测试 人 员 把 关 ， 软 件 是 经 过 测 
试 人 员 同 意 才 发 布 的 ， 因 此 发 布 后 的 软件 出 现 错误 是 测试 人 员 的 责任 。 事 实 上 ， 软 件 测试 只 能 
证 明 软 件 中 存在 缺陷 ， 但 不 能 证 明 其 无 错 ， 软 件 测试 不 可 能 找到 全 部 错误 。 软 件 缺 陷 可 能 来 自 
于 任何 一 个 软件 生命 周期 阶段 ， 需 要 通过 软件 工程 的 方法 ， 从 管理 和 技术 上 保证 软件 生命 周期 
中 每 一 个 阶段 的 正确 性 , 尤其 是 需求 与 设计 的 正确 性 。 软件 质量 事 关 每 一 个 软件 项 目 参与 人 员 
需要 全 员 关 注 过 程 改 进 ， 不 断 发 现 和 改正 错误 ， 提 升 软件 质量 。 

误区 二 : 软件 测试 技术 要 求 不 高 ， 至 少 比 编程 容易 多 了 。 

软件 测试 对 专业 综合 能 力 要 求 很 高 ， 软 件 项 目 初期 测试 人 员 就 已 经 介入 ， 需 要 对 软件 需求 
分 析 和 设计 有 很 好 的 理解 和 控制 能 力 。 同 时 ， 测 试 人 员 必 须 对 产品 开发 技术 有 一 定 的 了 解 ， 有 具 
有 良好 的 开发 经 验 才能 设计 出 好 的 测试 用 例 ， 并 且 开 发 测试 用 例 涉 及 大 量 的 编程 工作 。 软 件 测 
试 已 经 是 一 个 独立 学 科 ， 新 的 测试 技术 与 管理 方法 不 断 涌现 ， 需 要 掌握 很 多 实践 经 验 和 理论 知 
识 才 能 胜任 测试 工作 。 软 件 测试 和 开发 只 是 工作 内 容 不 同 ， 并 不 存在 水 平 差异 的 问题 。 软 件 测 
试 有 其 自身 的 理论 与 方法 ， 对 测试 人 员 在 测试 分 析 、 设 计 、 编 程 、 沟 通 、 协 调 、 细 致 严谨 等 能 
力 方面 的 要 求 是 很 高 的 。 

误区 三 : 软件 测试 是 开发 后 期 的 一 个 阶段 。 

将 软件 测试 看 作 软 件 编码 和 实现 之 后 的 一 个 阶段 是 完全 错误 的 ， 我 们 应 当 牢记 ， 软 件 测试 
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贯穿 于 整个 软件 开发 生命 周期 。 在 软件 生命 周期 的 每 个 阶段 ， 都 需要 不 同 目的 和 内 容 的 测试 活 
动 。 软 件 测试 的 对 象 不 仅 是 程序 ， 还 包括 需求 和 设计 等 各 类 技术 文档 和 所 有 的 软件 项 目 产品 。 
大 量 软件 缺陷 来 源 于 需求 和 设计 阶段 ， 如 果 仅 仅 在 编码 后 进行 测试 ， 发 现 和 改正 错误 的 成 本 将 
非常 高 昂 ， 并 且 用 于 测试 的 时 间 将 很 有 限 ， 难 以 满足 测试 覆盖 率 等 测试 质量 要 求 。 

误区 四 : 有 时 间 就 多 测试 一 些 ， 来 不 及 就 少 测试 一 些 。 

这 一 错误 观念 主要 是 由 于 将 测试 看 作 编码 之 后 的 一 个 阶段 造成 的 。 由 于 商业 竞争 的 原因 
软件 项 目 开 发 周期 往往 很 紧 ， 如 果 因为 项 目 进度 吃紧 就 压缩 测试 时 间 ， 必 然 大 大 降低 测试 的 质 
量 。 在 软件 项 目 计划 制定 的 同时 就 应 当 制定 好 软件 测试 计划 ， 规 划 好 测试 的 时 间 和 资源 安排 。 
测试 时 间 的 多 少 应 当 取决 于 项 目 特点 和 风险 分 析 结果 ， 而 不 应 当 仅仅 取决 于 项 目 进度 。 

误区 五 ， 软件 测试 是 测试 人 员 的 工作 ， 与 开发 人 员 无 关 。 

软件 测试 贯穿 于 整个 软件 开发 周期 ， 测 试 和 开发 是 相辅相成 的 关系 。 每 一 个 开发 阶段 都 需 
要 测试 和 开发 人 员 密 切合 作 ， 及 时 发 现 和 改正 软件 缺陷 ， 提 高 测试 效率 。 此 外 ， 单 元 测试 一 般 
是 由 开发 人 员 完成 的 ， 开 发 人 员 也 需要 具备 一 定 的 测试 知识 与 经 验 。 割 裂 测 试 和 开发 人 员 的 关 
系 往往 会 造成 两 者 的 对 立 ， 错 误 地 将 测试 人 员 的 工作 简单 看 作 给 开发 人 员 挑 错 。 测 试 和 开发 人 
员 应 当 以 用 户 需 求 为 驱动 ， 以 保障 软件 质量 为 共同 工作 目标 。 

误区 六 : 有 太 多 的 问题 无 法 测试 。 

图 形 用 户 界面 、 硬 件 、 数 据 库 等 与 核心 软件 功能 密切 相关 的 部 分 往往 很 难 测试 ， 其 根本 原 
因 是 软件 模块 内 部 的 逻辑 功能 与 外 部 难以 测试 的 部 分 发 生 过 于 紧密 的 看 合 ， 这 是 由 于 软件 设计 
不 够 合理 ， 没 有 充分 考虑 可 测试 性 的 问题 。 这 种 现象 提示 我 们 需要 改进 设计 和 系统 架构 ， 例 如 
采用 三 层 软件 体系 架构 ， 将 软件 逻辑 功能 尽 可 能 与 数据 存储 和 界面 表现 层 相 分 离 ， 去 除 不 会 测 
试 的 耦合 部 分 。 

误区 七 : 测试 自动 化 将 取代 手工 测试 。 

测试 工具 的 使 用 的 确 能 够 大 幅 提高 很 多 测试 工作 的 效率 ， 例 如 重复 性 比较 高 的 回归 测试 以 
及 模拟 大 量 用 户 的 情况 。 但 是 测试 自动 化 不 可 能 完全 代替 手工 测试 ， 也 不 可 能 保证 100% 的 测 
试 覆盖 率 ， 更 不 能 弥补 测试 实践 的 不 足 。 大 量 测试 工作 还 需要 手工 测试 完成 ， 例 如 文档 测试 和 
界面 测试 。 软 件 质量 是 以 用 户 需求 为 标准 的 ， 只 有 人 才能 真正 理解 用 户 需 求 ， 这 是 机 器 永远 无 
法 代替 的 。 

误区 八 : 软件 测试 工作 不 如 软件 开发 工作 有 前 途 。 

软件 开发 不 仅仅 是 编码 ， 随 着 对 软件 质量 要 求 的 提高 ， 软 件 测试 工作 越 来 越 重 要 ， 测 试 和 
开发 人 员 在 数量 和 待遇 上 的 差别 会 越 来 越 小 。 软 件 行业 需要 更 多 具备 丰富 测试 管理 和 技术 的 专 
业 人 员 ， 它 们 同样 是 软件 专家 ， 软 件 测试 大 有 前 途 。 


软件 测试 的 目的 与 原则 


1.4.1 软件 测试 的 目的 
软件 测试 的 目的 是 什么 ? 答案 其 实 很 简单 ， 就 是 为 了 保证 软件 产品 的 最 终 质 量 。 软 件 测试 
是 在 软件 开发 过 程 中 对 软件 质量 进行 控制 的 重要 手段 之 一 ， 软 件 测试 活动 贯穿 于 软件 生命 周期 
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的 各 个 阶段 ， 甚 至 在 软件 交付 后 ， 用 户 也 或 多 或 少 地 继续 扮演 着 软件 测试 的 角色 。 通 过 测试 可 
以 检验 软件 系统 是 否 满足 规定 的 需求 ， 衡 量 出 预期 结果 和 实际 结果 之 间 的 偏差 ， 识 别 出 软 件 阶 
段 或 最 终 产品 的 正确 度 和 完全 度 。 

关于 软件 测试 的 目的 Glenford J. Myers 曾经 给 出 过 如 下 观点 : 

(1) 软件 测试 是 程序 的 执行 过 程 ， 目 的 在 于 发 现 错误 ; 

(2) 好 的 测试 用 例 很 可 能 会 发 现 至 今 尚 未 发 现 的 错误 ; 

(3) 成 功 的 测试 是 那些 发 现 了 至 今 尚 未 发 现 的 错误 的 测试 。 

上 述 观 点 也 可 以 看 作 服 务 于 测试 目的 的 一 些 被 广泛 接受 的 规则 ， 但 需要 注意 的 是 ， 发 现 错 
误 是 软件 测试 的 手段 而 不 是 软件 测试 的 唯一 目的 ， 未 发 现 错误 的 测试 依然 是 有 价值 的 ， 软 件 测 
试 的 最 终 目 的 是 检验 软件 产品 是 否 满足 用 户 的 需求 。 

软件 测试 是 要 以 最 少 的 人 力 和 时 间 找 出 软件 中 潜在 的 错误 和 缺陷 ， 通 过 改正 这 些 已 发 现 的 
错误 和 缺陷 来 提高 软件 质量 。 因 此 ， 软 件 测试 的 目的 一 般 包 含 以 下 内 容 : 

(1) 验证 软件 是 否 满足 开发 合同 、 开 发 计划 、 需 求 规格 说 明和 设计 说 明 等 规定 的 软件 质量 
要 求 ; 

(2) 由 于 难以 消除 软件 中 的 所 有 错误 ， 因 此 通常 来 说 软件 测试 的 目的 就 是 发 现 尽 可 能 多 的 
软件 缺陷 ， 消 除 它们 ， 提 高 软件 质量 ; 

G) 测试 不 仅 是 为 了 发 现 软件 缺陷 ， 还 是 对 软件 质量 进行 度量 和 评估 的 过 程 。 测 试 结果 数 
据 可 以 为 软件 产品 的 质量 测量 和 评价 提供 依据 ; 

(4) 通过 分 析 软 件 缺 陷 产 生 的 原因 ， 可 以 有 针对 性 地 进行 软件 过 程 改进 。 


1.4.2 ”软件 测试 的 原则 


下 列 软 件 测试 原则 属于 软件 测试 工作 的 基本 常识 ， 理 解 它们 有 助 于 测试 人 员 正 确 、 有 效 地 
完成 测试 工作 。 

1) 软件 测试 不 能 证 明 程序 无 错 

软件 测试 是 发 现 软件 错误 的 过 程 ， 但 是 不 能 证 明 软件 无 错 ， 未 发 现 错误 的 测试 并 不 能 证 明 
被 测 软 件 不 存在 问题 。 

2) 所 有 测试 都 应 当 追 溯 软 件 缺 陷 的 起 源 

程序 中 发 现 的 问题 可 能 起 源 于 开发 前 期 阶段 , 因此 从 根本 上 消除 错误 需要 追溯 到 前 期 工作 ， 
尤其 是 需求 分 析 阶 段 造成 的 错误 。 软 件 从 最 初 的 用 户 需 求 到 最 终 的 不 完善 的 产品 经 历 了 一 系列 
的 过 程 ， 发 现 一 个 软件 问题 后 ， 应 当 根 据 这 些 过 程 去 追溯 它 的 源头 ， 分 析出 到 底 是 编码 、 设 计 
还 是 需求 分 析 的 错误 。 

3) 尽早 和 不 断 地 进行 软件 测试 

软件 生命 周期 的 各 个 阶段 都 可 能 产生 错误 ， 因 此 在 需求 和 设计 阶段 就 应 当 开始 测试 工作 ， 
能 够 在 早期 发 现 和 改正 错误 可 以 大 幅 降低 后 期 发 现 错误 的 修改 成 本 。 同 时 ， 为 了 预防 和 尽早 发 
现 错误 ， 需 要 坚持 软件 开发 各 阶段 的 技术 验证 和 评审 工作 。 

4) 软件 测试 应 尽 可 能 具有 独立 性 

开发 人 员 既 是 运动 员 又 是 裁判 员 是 很 不 合理 的 。 软 件 开发 人 员 或 组 织 可 能 意识 不 到 自身 的 
问题 ， 从 心理 学 角度 来 看 ， 也 很 难 去 彻底 地 发 现 自己 作品 中 的 错误 。 因 此 ， 让 他 人 来 测试 程序 
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会 更 加 有 效 ， 也 会 更 容易 测试 成 功 。 相 对 于 编程 组 织 来 讲 ， 由 独立 的 第 三 方 组 织 完成 测试 会 更 
为 客观 。 需 要 说 明 的 是 ， 由 于 国内 测试 行业 发 展 还 不 够 成 熟 ， 现 实 的 情况 是 ， 黑 盒 测 试 往往 由 
测试 人 员 完 成 ， 而 白 盒 测试 往往 由 开发 人 员 进 行 交叉 测试 。 

5) Pareto 原则 

错误 具有 群集 现象 ， 历 史 统计 表明 ，80% 的 软件 缺陷 起 源 于 20% 的 模块 。 发 现 错误 越 多 的 
地 方 ， 残 留 错误 也 越 多 。 因 此 ， 需 要 集中 人 力 和 时 间 对 错误 集中 的 模块 进行 重点 测试 ， 提 高 测 
试 效率 。 

6) 重视 无 效 数 据 和 非 预期 的 功能 

未 预料 的 程序 运行 方式 会 暴露 许多 软件 问题 ， 因 此 无 效 输入 数据 更 能 发 现 问题 。 同 时 ， 测 
试 应 当 重 视 检查 软件 是 否 做 了 不 应 当做 的 事 ， 具 有 非 预期 功能 的 程序 仍然 是 不 正确 的 程序 。 

7) 完全 测试 不 可 行 ， 测 试 需要 适时 终止 

完全 测试 是 指 试图 找 出 所 有 的 软件 缺陷 ， 使 软件 完美 无 缺 ， 这 是 不 可 能 的 。 一 方面 因为 穷 
举 测试 是 不 可 能 的 ， 另 一 方面 因为 测试 资源 (人 力 、 物 力 和 时 间 ) 是 有 限 的 。 另 外 ， 测 试 后 期 发 
现 错误 的 成 本 非常 大 ， 需 要 权衡 投入 / 产 出 比 。 不 充分 的 测试 是 不 负责 任 的 ， 过 度 测试 是 浪费 资 
源 ， 同 样 是 不 负责 任 的 。 因 此 ， 需 要 根据 软件 质量 要 求 ， 在 满足 的 情况 下 ， 确 定 合理 的 测试 终 
止 时 间 。 通 俗 来 讲 ， 测 试 不 应 追求 Zero Bug， 而 应 当 尽 量 做 到 Good Enough。 界 定 测试 是 否 充 
分 没有 统一 的 标准 答案 ， 一 般 需 要 根据 具体 软件 项 目 事先 制定 测试 通过 的 标准 和 测试 内 容 ， 例 
如 制定 如 下 测试 通过 标准 : 

e 测试 用 例 的 执行 率 为 100%， 通 过 率 为 95%; 

e 单元 测试 中 语句 覆盖 率 为 100%， 分 支 覆 盖 率 达到 85%。 

8) 重视 回归 测试 的 关联 性 

一 种 常见 的 现象 是 ， 改 正 一 个 错误 后 却 引 起 更 多 错误 的 发 生 。 经 验 表明 ， 每 修复 3 或 4 个 
缺陷 ， 一 般 就 会 产生 一 个 新 的 缺陷 。 因 此 ， 需 要 重视 回归 测试 的 合理 范围 。 

9) 软件 缺陷 的 免疫 性 

我 们 都 知道 ， 当 一 种 农药 使 用 很 长 时 间 以 后 ， 害 虫 会 产生 抗 药性 ， 农 药 的 灭 害 效果 会 大 打 
折扣 。 与 此 类 似 ， 软 件 缺陷 对 测试 用 例 也 具有 “免疫 性 ”。 随 着 缺陷 的 修复 和 软件 版 本 的 更 新 ， 
原 有 测试 用 例 发 现 错误 的 能 力 会 不 断 降低 。 这 就 要 求 我 们 根据 软件 版 本 的 变化 不 断 修 改 和 添加 
测试 用 例 。 

10) 测试 过 程 文档 需要 妥善 保存 

软件 缺陷 复 现 、 测 试 评测 和 过 程 改进 都 依赖 完备 的 测试 文档 。 


[软件 测试 过 程 与 分 类 


在 本 节 内 容 中 ， 我 们 对 软件 测试 过 程 予 以 说 明 ， 目 的 是 让 读者 对 软件 测试 的 整个 生命 周期 
有 一 个 宏观 上 的 认识 ,建立 正确 的 软件 测试 全 局 思想 。 同 时 ,对 软件 测试 的 主要 分 类 进行 说 明 ， 
使 读者 能 够 理 清 有 关 软 件 测试 的 很 多 庞杂 名 词 与 概念 ， 方 便 对 后 续 内 容 的 学 习 和 理解 。 
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1.5.1 软件 测试 过 程 


软件 测试 是 软件 工程 的 一 部 分 ， 根 据 国家 标准 GB/T 15532 一 2008《 计 算 机 软件 测试 规范 》 
中 的 规定 ， 软 件 测试 过 程 一 般 包括 四 项 活动 ， 按 顺序 分 别 是 : 测试 策划 、 测 试 设计 、 测 试 执行 、 
测试 总 结 。 这 就 构成 了 软件 测试 的 生命 周期 。 

(1) 测试 策划 。 主 要 是 进行 测试 需求 分 析 并 制定 测试 计划 。 测 试 需求 分 析 的 结果 反映 在 测 
试 计划 中 ,主要 包括 测试 内 容 与 质量 特性 、 测 试 充分 性 要 求 、 测 试 基本 方法 、 资 源 与 技术 需求 、 
风险 分 析 与 评估 。 

(2) 测试 设计 。 根 据 测试 需求 与 计划 ， 选 择 已 有 的 或 设计 新 的 测试 用 例 ， 准 备 测试 数据 ， 
获取 测试 资源 ， 开 发 测试 软件 ， 建 立 测试 环境 ， 进 行 测试 就 绪 评 审 。 

(3) 测试 执行 。 执 行 测试 用 例 ， 获 取 和 分 析 测 试 结果 。 测 试 执行 一 般 由 单元 测试 、 集 成 测 
试 、 系 统 测试 、 验 收 测试 以 及 回归 测试 等 阶段 组 成 。 

(4) 测试 总 结 。 整 理 和 分 析 测 试 数据 ， 评 价 测试 效果 和 被 测 软 件 项 ， 描 述 测 试 状态 。 完 成 
软件 测试 报告 ， 对 软件 的 质量 、 开 发 和 测试 的 工作 情况 等 进行 评估 。 

在 这 里 需要 说 明 的 是 ， 在 一 些 软件 测试 资料 中 ， 将 软件 测试 过 程 称 为 软件 测试 流程 ， 两 者 
的 实际 含义 是 一 样 的 ， 我 们 了 解 即 可 。 为 了 与 软件 开发 过 程 、 软 件 测试 过 程 模型 所 表达 的 含义 
相 统一 ， 在 本 书 中 ， 软 件 测试 过 程 一 词 是 指 贯 穿 于 软件 开发 生命 周期 从 始 至 终 的 一 系列 软件 测 
试 活动 。 另 外 需要 注意 的 是 , 一 些 软 件 测试 资料 在 描述 软件 测试 过 程 时 , 将 其 划分 为 单元 测试 、 
集成 测试 、 系 统 测试 和 验收 测试 。 实 际 上 ， 它 们 只 是 测试 执行 过 程 中 的 四 个 主要 阶段 。 我 们 无 
须 纠缠 于 各 种 名 词 的 不 同 ， 真 正 重要 的 是 在 实际 工作 中 定义 好 测试 过 程 的 范围 以 及 这 个 测试 过 
程 所 需 完成 的 任务 ， 通 过 制定 标准 和 计划 保证 任务 的 完成 。 

在 实际 工作 中 ,我 们 一 般 将 测试 过 程 分 为 制定 测试 计划 、 测 试 设计 、 测 试 准 备 、 执 行 测试 、 
测试 评估 和 整体 项 目测 试 总结 等 几 个 阶段 ， 如 图 1-8 所 示 。 

(1) 制定 测试 计划 。 在 需求 评审 和 设计 评审 的 基础 上 制定 测试 计划 。 以 测试 计划 指导 整个 
测试 工作 ， 内 容 主要 包括 确定 测试 范围 、 识 别 和 分 解 测试 任务 、 识 别 风险 并 给 出 应 对 措施 、 规 
划 测 试 资源 、 确 定 测试 策略 和 确定 测试 进度 等 。 

(2) 测试 设计 。 设 计 测 试用 例 和 测试 执行 过 程 ， 保 证 测试 用 例 完 全 覆盖 测试 需求 。 

(3) 测试 准备 。 为 执行 测试 进行 前 期 准备 ， 包 括 配置 测试 环境 、 准 备 测试 数据 、 开 发 测试 
用 例 或 测试 脚本 、 选 择 测试 工具 等 。 

(4) 执行 测试 。 执 行 测试 用 例 ， 发 现 和 修正 软件 缺陷 ， 主 要 包括 单元 测试 、 集 成 测试 、 系 
统 测试 和 验收 测试 四 个 阶段 。 修 改 缺 陷 后 往往 需要 进行 回归 测试 。 

(5) 测试 评估 。 分 析 测 试 结 果 ， 对 测试 对 象 的 可 靠 性 、 稳 定性 以 及 性 能 进行 评测 ， 为 测试 
总 结 记录 量化 评测 数据 。 由 于 需要 不 断 量化 测试 进程 ， 判 断 测试 进 度 状态 ， 决 定 何 时 终止 测试 ， 
因此 测试 评估 是 与 执行 测试 并 行进 行 的 。 

(6) 整体 项 目测 试 总 结 。 总 结 整体 项 目测 试 工作 ， 为 今后 不 断 改进 测试 质量 和 效率 做 准备 。 
事实 上 ， 测 试 工作 的 每 个 阶段 都 应 当 有 相应 的 测试 总 结 。 


制定 测试 计划 
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图 1-8 ”软件 测试 过 程 


1.5.2 ”软件 测试 分 类 


软件 测试 可 以 从 不 同 的 角度 进行 分 类 ， 图 1-9 给 出 了 几 种 主要 的 软件 测试 分 类 。 

1) 按照 测试 执行 阶段 划分 

按照 软件 测试 执行 阶段 的 不 同 ， 一 般 将 软件 测试 分 为 单元 测试 、 集 成 测试 、 系 统 测试 和 验 

收 测试 。 

e 单元 测试 是 对 软件 的 最 小 可 测试 单元 进行 检查 和 验证 。 单 元 测试 是 测试 执行 的 开始 阶 
段 ， 与 程序 设计 和 实现 密切 相关 ， 测 试 的 对 象 一 般 是 软件 的 最 小 单元 ， 如 函数 、 类 、 
模块 或 软件 构件 等 。 

e 集成 测试 有 时 也 称 为 组 装 测试 ， 是 把 经 过 单元 测试 的 模块 按照 软件 设计 不 断 进 行 组 
装 而 进行 的 测试 ， 重 点 是 测试 模块 间 的 接口 部 分 。 例 如 ， 测 试 模块 之 间 的 数据 传输 
是 否 正 确 ， 是 否 存 在 数据 丢失 或 参数 类 型 不 匹配 的 问题 ， 模 块 集成 后 能 否 相 互 配合 
正常 运行 。 

。 系统 测试 是 将 软件 作为 整个 计算 机 系统 的 一 部 分 ， 与 计算 机 硬件 、 外 设 、 某 些 支 持 软 
件 、 数 据 和 人 员 等 其 他 系统 元 素 结合 在 一 起 ， 对 计算 机 系统 进行 的 一 系列 全 面 测试 。 
前 期 主要 测试 系统 的 功能 是 否 满足 需求 ， 后 期 主要 测试 系统 性 能 、 可 靠 性 、 安 全 性 等 
非 功能 特性 是 否 满足 要 求 ， 以 及 系统 在 不 同 软 硬 件 环境 中 的 兼容 性 等 。 

e 验收 测试 是 把 软件 交付 给 用 户 使 用 前 的 最 后 一 项 测试 工作 ， 目 的 是 向 用 户 证 明 软件 系 
统 在 功能 、 性 能 以 及 其 他 特性 方面 与 用 户 的 要 求 相 一 致 。 验 收 测试 工作 一 般 在 实际 用 
户 环境 中 进行 ， 在 用 户 为 主 测试 人 员 参 与 的 情况 下 共同 完成 。 
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按 测 试 执行 
阶段 划分 


验收 测 


按 测 试 
技术 划 


按 测 试 执行 
状态 划分 


随机 测 ; 
图 1-9 软件 测试 分 类 


在 这 里 需要 说 明 的 是 ， 在 一 些 软件 测试 资料 中 还 存在 着 对 于 软件 测试 执行 阶段 的 不 同 划 分 
方法 ， 例 如 将 测试 阶段 更 为 细致 地 划分 为 单元 测试 、 集 成 测试 、 确 认 测 试 、 系 统 测试 和 验收 测 
试 。 确 认 测试 又 称 为 软件 合格 性 测试 或 配置 项 测试 ， 用 来 检验 所 开发 的 软件 功能 、 性 能 和 其 他 
限制 条 件 (如 兼容 性 、 可 移植 性 、 文 档 资料 ) 是 否 与 用 户 的 要 求 一 致 。 由 于 确认 测试 的 内 容 与 系 
统 测试 和 验收 测试 的 内 容 存在 着 重合， 验证 和 确认 活动 贯穿 于 整个 软件 测试 过 程 ， 软 件 最 终 合 
格 与 否 依赖 于 验收 测试 结果 是 否 得 到 用 户 的 肯定 ， 因 此 实际 工作 中 并 不 强调 存在 这 一 独立 测试 
阶段 ， 其 工作 内 容 在 系统 测试 和 验收 测试 中 得 以 体现 。 

对 测试 执行 阶段 的 另 一 种 划分 是 单元 测试 、 集 成 测试 、 功 能 测试 、 系 统 测试 和 验收 测试 。 
这 种 划分 的 目的 是 着 重 区 分 功能 测试 和 非 功能 测试 ， 将 系统 测试 只 看 作 针 对 软件 非 功能 特性 而 
进行 的 测试 。 这 种 划分 其 实 是 不 太 准 确 的 ， 因 为 功能 测试 在 单元 测试 、 集 成 测试 、 系 统 测试 和 
验收 测试 中 都 可 以 进行 ， 需 要 在 各 个 测试 层次 上 保证 软件 系统 执行 的 正确 性 。 因 此 ， 本 书 采用 
单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 这 种 实际 工作 中 较为 通用 的 测试 执行 阶段 划分 方法 ， 
真正 重要 的 是 理解 各 阶段 测试 工作 的 相互 关系 及 其 主要 测试 目的 与 内 容 ， 避 免 测试 过 程 的 混乱 
无 序 和 测试 内 容 的 缺失 。 

2) 按 测 试 技术 划分 

按照 测试 技术 ， 软 件 测 试 分 为 白 盒 测 试 与 黑 盒 测 试 。 白 盒 测试 和 黑 盒 测试 是 测试 领域 中 两 
个 最 基本 的 概念 。 

e 和 白 盒 测试 又 称 为 结构 测试 或 逻辑 驱动 测试 。 盒 子 在 这 里 是 指 被 测试 的 软件 ， 白 盒 是 指 

盒子 里 的 东西 及 其 运作 是 看 得 见 的 。 白 盒 测试 是 在 已 知 产品 内 部 工作 流程 的 情况 下 
研究 程序 的 源 代 码 和 程序 结构 ， 按 照 程序 的 内 部 结构 测试 程序 。 要 求 对 程序 的 语句 和 
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分 支 结构 做 到 一 定 的 覆盖 ， 对 所 有 逻辑 路 径 进行 测试 ， 并 且 检 查 程 序 内 部 控制 结构 和 
数据 结构 是 否 存在 错误 。 

。 黑 盒 测试 又 称 为 数据 驱动 测试 。 黑 盒 测试 不 关心 程序 内 部 结构 ， 将 程序 看 作 不 能 打开 
的 黑 盒 ， 用 于 检查 程序 所 应 具有 的 功能 是 否 都 已 实现 ， 每 个 功能 是 否 都 能 正常 使 用 ， 
是 否 满足 用 户 的 需求 。 黑 盒 测 试 主要 针对 程序 接口 和 用 户 界 面 进行 测试 ， 检 查 程 序 是 
否 能 够 适当 地 接收 输入 数据 并 产生 正确 的 输出 结果 。 

在 有 些 软件 测试 资料 中 将 黑 盒 测试 也 称 为 功能 测试 ， 这 种 说 法 不 是 非常 准确 ， 因 为 采用 黑 

盒 测 试 技术 既 可 以 进行 功能 测试 ， 也 可 以 进行 很 多 非 功能 测试 ， 如 性 能 测试 。 另 外 ， 在 一 些 软 
件 测试 书籍 中 还 列 出 了 灰 盒 测 试 技 术 。 严 格 来 说 ， 灰 盒 测试 可 以 看 作 白 盒 测 试 和 黑 盒 测 试 的 一 
种 结合 ， 并 不 能 算是 一 种 新 的 、 独 立 的 测试 技术 。 灰 盒 测 试 方法 大 多 应 用 于 集成 测试 阶段 ， 主 
要 测试 单元 模块 之 间 的 逻辑 关系 、 程 序 的 处 理 能 力 和 健壮 性 。 灰 盒 测试 不 仅 关 注 程 序 输入 和 输 
出 的 正确 性 ， 同 时 也 关注 程序 内 部 的 情况 。 它 不 像 白 盒 测 试 那样 详细 、 完 整 ， 但 又 比 黑 盒 测试 
更 关注 程序 的 内 部 逻辑 ， 常 常 通过 一 些 表征 性 的 现象 、 事 件 、 标 志 来 判断 内 部 的 运行 状态 。 

3) 按 测 试 执行 状态 划分 

按照 测试 执行 状态 ， 或 者 说 按照 是 否 运行 程序 ， 软 件 测试 分 为 静态 测试 和 动态 测试 。 

e 静态 测试 不 实际 运行 被 测 程 序 ， 只 是 静态 地 检查 程序 代码 、 文 档 或 软件 界面 是 否 存 在 
错误 。 对 于 程序 代码 ， 主 要 检查 是 否 符合 标准 和 规范 ， 并 对 程序 的 数据 流 和 控制 流 进 
行 分 析 ; 对 于 文档 测试 ， 主 要 是 检查 需求 、 设 计 、 用 户 手 册 等 文档 是 否 完整 、 正 确 、 
内 容 一 致 、 易 于 理解 等 ， 对 于 软件 界面 ， 主 要 检查 界面 与 需求 和 设计 中 的 说 明 是 否 一 
致 。 需 要 注意 的 是 ， 静 态 测试 ， 尤 其 是 对 代码 进行 的 静态 测试 ， 可 以 借助 很 多 测试 工 
具 进 行 ， 静 态 测试 和 人 工 测试 是 不 同 的 两 个 概念 。 

。 动态 测试 需要 实际 运行 被 测 程序 ， 输 入 测试 数据 ， 对 比 程序 输出 结果 与 预期 结果 是 否 
一 致 ， 分 析 对 比 结果 ， 发 现 软件 中 潜在 的 缺陷 。 区 分 测试 是 动态 测试 还 是 静态 测试 的 
唯一 标准 就 是 看 是 否 运行 程序 。 

4) 按 用 户 需求 划分 

按照 用 户 需 求 ， 软 件 测试 分 为 功能 测试 和 非 功能 测试 。 软 件 测试 是 为 了 满足 用 户 需求 ， 而 

用 户 需求 主要 分 为 功能 需求 和 非 功 能 需求 。 软 件 的 功能 需求 定义 了 软件 期 望 做 什么 ， 而 非 功能 
需求 则 指定 了 关于 软件 如 何 运行 和 功能 如 何 展 示 的 全 局 限制 ， 是 对 功能 需求 的 补充 ， 应 当 充分 
考虑 对 功能 需求 的 影响 。 

e ”功能 测试 比较 容易 理解 ， 主 要 根据 软件 需求 规格 说 明 书 ， 检 验 软件 是 否 满足 各 方面 功 
能 的 使 用 要 求 。 通 常 是 测试 人 员 直 接 运 行 软件 ， 针 对 程序 接口 或 软件 界面 进行 测试 。 
针对 不 同系 统 的 功能 测试 内 容 差 别 很 大 ， 但 是 都 可 以 归结 为 界面 、 数 据 、 操 作 、 逻 辑 、 
接口 等 几 个 方面 ， 常 见 的 功能 测试 包括 逻辑 功能 测试 、 界 面 测试 、 可 用 性 测试 、 接 口 

。 非 功 能 测试 是 相对 于 功能 测试 而 言 的 ， 软 件 系统 能 否 正 常 运行 不 仅 依赖 于 其 功能 是 否 
正确 实现 ， 而 且 依赖 于 其 非 功 能 性 属性 能 否 满足 使 用 要 求 ， 尤 其 是 软件 性 能 是 否 满足 
要 求 。 常 见 的 非 功 能 测试 包括 性 能 测试 、 安 全 性 测试 、 可 靠 性 测试 、 恢 复 测 试 等 ， 而 
性 能 测试 又 包括 一 般 性 能 测试 、 稳 定性 测试 、 负 载 测试 、 压 力 测试 、 容 量 测试 等 。 

这 一 部 分 的 测试 名 词 从 多， 容易 混 淆 。 因 此 ， 对 它们 的 实际 测试 目的 与 内 容 ， 留 待 后 续 章 
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节 进 行 全 面 深入 的 说 明 。 在 这 里 ,只 需要 理解 功能 测试 和 非 功能 测试 的 划分 及 其 主要 含义 即 可 。 

5) 其 他 测试 

软件 测试 中 还 有 一 些 不 易 归 类 的 测试 ， 例 如 回归 测试 、 冒 烟 测试 和 随机 测试 等 。 

回归 测试 一 般 是 指 在 修改 代码 之 后 ， 为 了 保证 修改 没有 引起 新 的 错误 而 进行 的 重新 测试 过 
程 。 严 格 来 讲 ， 回 归 测 试 不 是 一 个 测试 阶段 ， 它 是 一 种 可 以 在 单元 测试 、 集 成 测试 、 系 统 测试 
和 验收 测试 等 任何 测试 阶段 进行 的 测试 活动 。 既 有 黑 盒 测试 的 回归 ， 也 有 白 盒 测试 的 回归 。 软 
件 测 试 中 ， 回 归 测 试 的 工作 量 极 大 ， 尤 其 是 在 软件 版 本 频繁 升级 和 发 布 的 软件 项 目 中 。 因 此 ， 
回归 测试 往往 需要 使 用 测试 工具 来 提高 测试 效率 。 

冒 烟 测试 是 对 每 一 个 新 编译 的 需要 正式 测试 的 软件 版 本 ， 在 大 规模 测试 之 前 ， 先 检查 软件 
基本 功能 是 否 正 常 ， 是 否 具 有 可 测试 性 。 冒 烟 测试 主要 是 确认 新 的 程序 版 本 是 否 存在 致命 的 软 
件 缺 陷 以 至 于 系统 功能 无 法 正常 运行 ， 或 是 程序 主要 功能 都 还 没有 正常 实现 ， 如 果 存 在 这 种 情 
况 ， 那 么 后 续 的 软件 测试 工作 将 无 法 开展 。 简 单 地 说 就 是 先 保证 软件 系统 能 够 运行 起 来 ， 不 至 
于 让 测试 工作 做 到 中 途 因 突 然 出 现 的 错误 而 导致 中 断 。 如 果 程序 没有 通过 冒 烟 测试 ， 通 常 的 做 
法 是 将 程序 返回 给 开发 部 门 重新 开发 ， 这 样 做 的 好 处 是 可 以 节省 大 量 的 时 间 与 人 力 ， 减 少 测试 
的 轮 次 。 

冒 烟 测试 严格 来 说 就 是 对 软件 基本 功能 点 进行 初步 测试 的 过 程 .这 一 名 称 来 自 于 硬件 行业 ， 
可 以 形象 地 类 比 为 新 电路 板 基本 功能 检查 。 检 查 新 电路 板 质 量 时 ， 先 进行 通电 检测 ， 如 果 电 路 
板 冒 烟 烧毁 的 话 ， 说 明 电 路 板 的 质量 存在 严重 问题 ， 必 须 返 回去 进行 重新 设计 和 生产 。 冒 烟 测 
试 和 回归 测试 往往 是 结合 进行 的 。 当 开发 出 新 版 本 的 软件 后 ， 首 先 要 进行 冒 烟 测试 ， 测 试 通过 
后 ， 再 进行 回归 测试 。 但 是 ， 回 归 测 试 并 不 都 在 新 版 本 冒 烟 测试 之 后 进行 ， 在 软件 开发 和 测试 
的 各 个 阶段 都 会 进行 很 多 次 的 回归 测试 。 

随机 测试 是 根据 测试 人 员 的 经 验 ， 对 软件 进行 功能 和 性 能 抽查 ， 是 根据 测试 说 明 书 和 测试 
用 例 进 行 测试 之 外 的 补充 测试 手段 ， 可 以 更 好 地 保证 测试 覆盖 的 完整 性 。 

随机 测试 的 输入 数据 都 是 随机 生成 的 , 目的 是 模拟 用 户 的 真实 操作 , 对 一 些 特殊 使 用 操作 、 
特殊 使 用 环境 、 程 序 并 发 运行 可 能 造成 的 问题 进行 检查 。 对 于 软件 的 重要 功能 、 测 试用 例 未 覆 
盖 到 的 部 分 、 软 件 更 新 和 新 增 功能 ， 尤 其 是 前 期 测试 出 现 严重 缺陷 的 部 分 ， 应 当 进行 随机 测试 ， 
可 以 结合 回归 测试 一 起 进行 。 对 每 一 个 新 的 软件 版 本 都 需要 进行 随机 测试 ， 尤 其 需要 重视 对 即 
将 发 布 的 软件 版 本 的 随机 测试 工作 。 目 前 随机 测试 已 经 演化 为 更 为 系统 和 专业 的 探索 性 测试 。 

当然 ， 随 机 测试 存在 着 一 些 明显 的 缺点 ， 例 如 测试 方法 不 系统 ， 无 法 统计 帮 盖 率 指标 ， 很 
难 回 归 测试 等 。 顺 便 一 提 的 是 ， 有 时 也 将 随机 测试 称 为 猴子 测试 ， 意 思 是 大 量 用 户 很 可 能 像 猴 
子 一 样 对 软件 随意 操作 ， 可 能 执行 一 些 非常 规 的 意 想不到 的 业务 流程 ， 由 此 引发 一 些 深层 次 不 
易 发 现 的 错误 。 通 过 这 种 无 需求 、 无 测试 计划 、 无 测试 用 例 、 无 主观 想法 的 测试 活动 ， 可 以 发 
现 很 多 隐藏 较 深 的 软件 缺陷 。 


[IE 软件 测试 过 程 模型 


软件 测试 与 软件 开发 紧密 相关 , 与 软件 开发 具有 过 程 模型 一 样 , 软件 测试 也 有 其 过 程 模型 。 
软件 测试 过 程 模型 是 对 测试 过 程 的 一 种 抽象 ， 用 于 定义 软件 测试 的 流程 和 方法 ， 并 与 开发 方法 
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进行 了 有 机 结合 。 掌 握 软件 测试 过 程 模型 可 以 帮助 我 们 正确 理解 测试 与 开发 的 关系 ， 根 据 不 同 
的 软件 开发 过 程 选择 合适 的 测试 过 程 。 


1.6.1 V 模型 


如 图 1-10 所 示 的 软件 测试 V 模型 是 最 具 代表 性 的 测试 模型 , 由 Paul Rook 在 20 世纪 80 年 
代 后 期 提出 ， 目 的 是 改进 软件 开发 的 效率 和 效果 。 
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图 1-10 软件 测试 V 模型 


V 模型 是 软件 开发 瀑布 模型 的 变形 ， 突 出 了 测试 过 程 的 独立 性 ， 反 映 了 软件 测试 活动 和 软 
件 开发 活动 的 关系 ， 明 确 标明 了 测试 过 程 中 存在 的 不 同 级 别 的 测试 阶段 ， 并 且 清 楚 地 描述 了 这 
些 测试 阶段 和 开发 过 程 各 阶段 之 间 的 对 应 关系 。V 模型 中 的 测试 在 软件 编码 之 后 进行 ， 箭 头 代 
表 时 间 进 度 ， 左 侧 是 开发 阶段 ， 右 侧 是 测试 阶段 。V 模型 在 测试 中 的 地 位 就 如 同 瀑布 模型 在 开 
发 中 的 地 位 一 样 ， 都 是 最 基础 的 模型 ， 大 部 分 测试 模型 都 从 这 个 模型 演化 而 来 。 

V 模型 的 测试 策略 包含 低层 和 高 层 测试 ， 低 层 测试 是 为 了 保证 源 代码 和 设计 的 正确 性 ， 高 
层 测试 是 为 了 使 系统 满足 用 户 需 求 。 单 元 测试 和 集成 测试 主要 验证 软件 是 否 满足 设计 要 求 ， 系 
统 测试 是 为 了 验证 系统 功能 和 性 能 是 否 达到 质量 要 求 的 指标 ， 验 收 测试 是 确定 最 终 的 软件 产品 
是 否 真正 满足 用 户 需求 。 

但 是 ，V 模型 存在 明显 的 局 限 性 ， 它 只 是 将 测试 看 作 编 码 之 后 的 一 个 阶段 ， 主 要 是 针对 程 
序 寻 找 错误 的 活动 ， 从 而 忽视 了 测试 活动 对 需求 分 析 和 系统 设计 等 前 期 开发 活动 的 验证 和 确认 
功能 。 


1.6.2 W 模型 


如 图 1-11 所 示 ， 软 件 测试 W 模型 相对 V 模型 而 言 ， 增 加 了 软件 开发 各 阶段 中 应 当 同 步 进 
行 的 软件 测试 验证 和 确认 活动 。W 模型 由 两 个 V 模型 组 成 ， 分 别 代表 测试 和 开发 过 程 ， 明 确 表 
示 出 测试 和 开发 具有 并 行 关系 ， 也 就 是 说 ， 软 件 测试 同步 于 软件 开发 ， 贯 穿 于 整个 软件 开发 生 
命 周期 。 同 时 ，W 模型 还 强调 测试 的 对 象 不 仅仅 是 程序 ， 还 应 当 包括 软件 需求 和 软件 设计 。 
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W 模型 的 优点 是 有 利于 尽早 和 全 面 地 发 现 软件 缺陷 。 在 软件 需求 分 析 完 成 后 ， 就 应 当 及 时 
对 需求 分 析 结 果 进 行 验证 和 确认 ， 尽 早 发 现 隐藏 在 需求 分 析 结 果 中 的 错误 。 同 时 ， 对 需求 进行 
测试 可 以 使 测试 人 员 及 时 了 解 软件 项 目的 功能 和 性 能 要 求 、 项 目的 难度 和 复杂 度 以 及 测试 工作 
的 风险 ， 便 于 有 针对 性 地 制定 测试 计划 ， 提 高 测试 工作 的 准确 度 和 效率 ， 保 障 软件 的 质量 满足 
用 户 需求 。 同 理 ， 对 软件 设计 的 及 时 测试 可 以 保障 设计 结果 的 合理 性 和 正确 性 。 

但 是 ，W 模型 也 存在 着 明显 的 局 限 性 。W 模型 将 需求 、 设 计 和 编码 等 开发 活动 都 看 作 串 行 
活动 。 同 时 ， 测 试 和 开发 活动 也 保持 着 一 种 线性 的 前 后 关系 ， 前 面 的 一 个 阶段 完成 后 ， 才 可 以 
开始 下 一 个 阶段 的 工作 。 因 此 ，W 模型 无 法 支持 迭代 的 软件 开发 过 程 ， 也 难以 适应 需求 变更 
调整 。 


1.6.3 H 模型 


如 图 1-12 所 示 的 软件 测试 瑟 模 型 是 针对 V 模型 和 W 模型 的 局 限 性 而 提出 的 。V 模型 和 W 
模型 都 将 软件 开发 过 程 视 为 一 系列 刚性 的 串 行 活动 ， 因 此 都 无 法 支持 迭代 开发 。 事 实 上 ， 上 述 
两 个 模型 都 过 于 理想 化 ， 软 件 开发 在 需求 分 析 、 设 计 和 编码 等 任何 一 个 阶段 都 可 能 发 现 错误 ， 
都 需要 回溯 到 错误 源头 进行 修改 。 因 此 ， 相 应 的 测试 活动 之 间 也 不 存在 严格 的 次 序 关 系 ， 测 试 
活动 之 间 也 需要 经 常 进行 迭代 。 

测试 就 绪 点 
测试 准备 测试 执行 


> 测试 流程 


其 它 流程 《如 设计 流程 》 
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图 1-12 ”软件 测试 也 模型 


NT 有、 


为 了 解决 上 述 问题 ，HH 模型 将 测试 活动 完全 独立 出 来 ， 形 成 一 个 完全 独立 的 流程 ， 将 测试 
准备 活动 和 测试 执行 活动 清晰 地 体现 出 来 。 图 1-12 只 是 展示 了 整个 软件 开发 周期 中 某 个 层次 上 
一 次 测试 的 “ 微 循环 ”， 图 1-12 中 的 其 他 流程 可 以 是 设计 流程 或 编码 流程 等 任意 开发 流程 。H 
模型 适合 于 和 迭代 特征 比较 明显 的 软件 开发 过 程 ， 例 如 面向 对 象 的 软件 开发 过 程 ， 这 类 开发 过 程 
在 各 个 开发 阶段 之 间或 一 个 开发 阶段 内 的 各 个 开发 步骤 之 间 经 常会 多 次 反复 迭代 。 

卫 模 型 所 表达 的 主要 原理 是 :软件 测试 是 一 个 独立 的 流程 ， 以 “ 微 循环 ”的 方式 参与 软件 
开发 生命 周期 的 各 个 阶段 ， 与 其 他 流程 并 发 地 进行 。 软 件 测试 要 尽早 准备 ， 尽 早 执 行 。 只 要 测 
试 准备 活动 完成 了 ， 就 可 以 执行 或 者 需要 执行 测试 活动 ， 并 且 不 同 的 测试 活动 可 以 按照 先后 次 
序 进 行 ， 也 可 以 反复 进行 。 


1.6.4 X 模型 


如 图 1-13 所 示 的 X 模型 弥补 了 V 模型 欠缺 测试 设计 环节 和 不 能 进行 测试 回溯 的 缺陷 ， 并 
且 增 加 了 探索 性 测试 这 种 新 的 测试 思维 方式 。 


程序 片 鲜 


封 版 
执行 测试 


测试 设计 
工具 配置 
执行 测试 

编码 完成 

执行 测试 

工具 配置 

测试 设计 


测试 设计 
工具 配置 
集成 1- 集 成 n 


“、 探 索性 测试 


租 序 睛 外 


图 1-13 ”软件 测试 X 模型 


入 模型 能 够 很 好 地 处 理 软件 开发 和 测试 的 交接 过 程 。X 模型 的 左 侧 描述 了 针对 每 一 个 单独 
程序 片段 进行 的 相互 独立 的 编码 和 测试 过 程 ， 每 一 个 过 程 中 都 包含 测试 设计 、 工 具 配置 和 测试 
执行 环节 。 程序 片段 的 编码 和 测试 在 完成 后 将 进行 频繁 的 交接 , 通过 程序 集成 形成 可 执行 程序 。 
义 模 型 的 右上 方 表示 对 已 通过 集成 测试 的 程序 成 品 形成 某 一 版 本 的 软件 并 提交 给 用 户 , 也 可 以 将 
已 集成 好 的 阶段 产品 用 于 更 大 规模 的 集成 活动 .多 根 并 行 的 曲线 表示 变更 可 以 在 各 个 部 分 发 生 。 

义 模型 的 右 下 方 给 出 了 一 种 探索 性 测试 方式 作为 传统 测试 过 程 的 补充 ， 这 是 一 种 不 进行 事 
先 计 划 的 特殊 类 型 的 测试 , 强调 的 是 测试 设计 和 测试 执行 的 并 行 性 , 区 别 于 传统 测试 过 程 中 “ 先 
设计 后 执行 ”的 方式 。 探 索性 测试 在 对 测试 对 象 进行 测试 的 同时 学 习 测 试 对 象 并 设计 测试 ， 在 
测试 过 程 中 运用 获得 的 关于 测试 对 象 的 信息 设计 新 的 更 好 的 测试 。 这 一 方式 强调 在 碰 到 问题 时 
及 时 改变 测试 策略 ， 抛 弃 繁杂 的 测试 计划 和 测试 用 例 设 计 过 程 ， 这 样 往往 能 帮助 有 经 验 的 测试 
人 员 在 测试 计划 之 外 发 现 更 多 的 软件 错误 。 但 由 于 缺乏 计划 性 ， 可 能 造成 测试 资源 的 浪费 ， 对 
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测试 人 员 的 经 验 要 求 很 高 。 
1.6.5 ”前 置 测试 模型 


如 图 1-14 所 示 的 前 置 测试 模型 是 一 种 将 测试 和 开发 紧密 结合 的 模型 ， 它 将 V 模型 和 XX 模 
型 相 结合 ， 沿 用 它们 的 长 处 ， 同 时 又 弥补 它们 的 不 足 。 运 用 前 置 测 试 模型 可 以 加 快 项 目 开发 的 
速度 。 


可 行 性 分 析 -| 可 行 性 报告 系统 分 析 “< 
] 技术 测试 计划 
验收 标准 | 
验收 测试 计划 下 台 评审 
I 黑 盒 / 白 合 单元 测试 
执行 集成 测试 一 一 
| 系统 测试 
专项 测试 . 
TE 
TT 
(生命 周期 ) 一 一 ”验收 测试 ”KR 一 一 ”独立 QA 测试 
图 1-14 “软件 前 置 测试 模型 
前 置 测试 模型 具有 以 下 特点 。 
1) 开发 与 测试 相 结合 
前 置 测试 模型 将 开发 和 测试 的 生命 周期 整合 在 一 起 ,标识 了 项 目 生 命 周 期 从 开始 到 结束 


之 间 的 关键 行为 ， 关 键 行为 的 缺失 将 会 降低 软件 项 目 成 功 的 可 能 性 。 前 置 测 试 在 开发 阶段 
可 以 通过 编码 和 测试 交替 的 方式 进行 。 也 就 是 说 ， 程 序 片段 一 旦 编写 完成 ， 就 会 立即 进行 
测试 。 

2) 对 每 一 个 交付 内 容 进行 测试 

每 一 个 交付 的 开发 结果 都 必须 通过 一 定 的 方式 进行 测试 ， 程 序 源 代码 并 不 是 唯一 需要 测试 
的 内 容 。 图 1-14 中 的 粗 线 框 表示 了 其 他 一 些 要 测试 的 对 象 ， 包 括 可 行 性 报告 、 业 务 需求 说 明 以 
及 系统 设计 文档 等 ,这 同 W 模型 中 开发 和 测试 的 对 应 关系 是 一 致 的 , 并 且 在 其 基础 上 有 所 扩展 ， 
变 得 更 为 明确 。 

3) 在 设计 阶段 进行 测试 计划 与 设计 

设计 阶段 是 做 测试 计划 与 设计 的 最 好 时 机 。 前 置 模型 认为 测试 主要 包括 验收 测试 和 技术 测 
试 两 种 类 型 ， 它 们 都 需要 测试 计划 。 验 收 测试 计划 的 制定 不 仅 依赖 于 系统 分 析 的 结果 ， 而 且 依 
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赖 于 系统 设计 的 结果 (注意 图 1-14 中 系统 设计 到 验收 测试 计划 的 箭头 )， 需 要 根据 系统 设计 所 决 
定 的 一 些 具体 系统 操作 来 判断 验收 标准 是 否 达 成 ， 以 及 基于 需求 的 测试 是 否 成 功 完成 。 技 术 测 
试 主要 是 针对 代码 的 测试 (如 单元 测试 、 集 成 测试 和 系统 测试 )， 最 基本 的 要 求 是 验证 代码 和 设 
计 的 要 求 是 否 相 一 致 。 

4) 验收 测试 和 技术 测试 相互 保持 独立 

提倡 验收 测试 应 该 独立 于 技术 测试 ， 这 样 可 以 提供 双重 的 保险 ， 以 保证 设计 及 程序 编码 能 
够 符合 最 终 用 户 的 需求 。 

5) 反复 交替 的 开发 与 测试 

软件 项 目 经 常会 在 各 个 开发 阶段 发 生变 更 ， 例 如 新 增 功能 并 同步 修改 技术 文档 ， 开 发 和 测 
试 需要 一 起 反复 交 蔡 地 执行 。 

6) 模型 内 在 价值 

通过 对 风险 优先 级 进行 划分 ， 可 以 用 较 低 的 成 本 及 早 发 现 错误 ， 并 且 充 分 强调 测试 对 确保 
软件 质量 的 重要 意义 。 前 置 测 试 定 义 了 如 何在 编码 之 前 对 程序 进行 测试 设计 ， 提 前 定义 好 该 如 
何 对 程序 进行 测试 会 让 开发 人 员 节省 至 少 20% 的 时 间 ， 在 编码 之 前 对 设计 进行 测试 可 以 节省 总 
共 将 近 一 半 的 时 间 。 


1.6.6 ”测试 模型 的 特点 
表 1-2 对 V 模 型 、W 模型 、 互 模型 、X 模型 和 前 置 模型 的 主要 特点 做 了 总 结 。 


表 1-2 测试 模型 的 主要 特点 


测试 模型 主要 特点 

VV 模型 明确 说 明了 软件 测试 在 整个 软件 开发 周期 中 需要 经 历 的 阶段 , 每 个 测试 阶段 都 与 一 个 开发 阶段 对 
应 。 但 是 测试 只 在 编码 之 后 进行 ， 没 有 明确 说 明 应 对 需求 和 设计 进行 测试 ， 不 支持 和 欠 代 开发 
强调 了 测试 和 开发 的 并 行 性 ， 明 确 了 需要 对 需求 和 设计 进行 测试 ， 有 利于 尽早 发 现 软件 缺陷 。 将 
开发 和 测试 都 看 作 串 行 活动 ， 无 法 支持 软件 迭代 开发 

表明 了 测试 是 一 个 独立 的 流程 ， 贯 穿 产 品 整个 生命 周期 ， 与 其 他 流程 并 发 进行 。 强 调 了 软件 测试 
五 模型 要 尽早 准备 和 尽早 执行 ， 只 要 具备 测试 条 件 就 可 以 开始 测试 ， 支 持 迭 代 开 发 。 但 模型 意义 仅 在 于 
应 用 其 思想 指导 工作 ， 模 型 本 身 没有 太 多 的 可 执行 意义 

体现 了 测试 设计 和 测试 回溯 的 过 程 ， 能 很 好 地 处 理 开发 和 测试 的 交接 过 程 ， 探 索性 测试 有 利于 有 
经 验 的 测试 人 员 发 现 测试 计划 之 外 的 软件 缺陷 

将 开发 和 测试 紧密 结合 ， 明 确 了 除 程序 外 的 测试 对 象 ， 强 调 了 验收 测试 和 技术 测试 的 独立 性 ， 支 


i 持 反复 交 蔡 的 测试 过 程 ， 可 以 加 速 开发 进度 


如 图 1-15 所 示 的 软件 测试 信息 流 , 反映 了 软件 测试 过 程 中 一 些 主要 的 处 理 活动 以 及 与 这 些 
图 活动 相关 的 输入 与 输出 信息 。 了 解 它 们 有 助 于 从 宏观 上 理解 软件 测试 的 基本 脉络 。 
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图 1-15 软件 测试 信息 流 


软件 测试 在 实施 前 应 当 给 出 如 下 三 类 信息 : 

(1) 软件 配置 。 这 里 的 软件 配置 特 指 软件 测试 的 对 象 ， 包 括 被 测试 的 目标 执行 程序 、 软 件 
数据 结构 、 需 求 规格 说 明 书 和 设计 规格 说 明 书 等 软件 开发 文档 。 

(2) 测试 配置 。 包 括 测试 计划 、 测 试用 例 或 测试 数据 、 测 试 驱 动 程序 等 。 实 际 上 ， 从 软件 
工程 整体 角度 来 看 ， 测 试 配 置 只 是 软件 配置 的 一 个 子 集 。 

(3) 测试 工具 。 为 提高 软件 测试 效率 所 使 用 的 测试 工具 ， 例 如 ， 程 序 静态 和 动态 分 析 工 具 、 
负载 测试 工具 、 测 试 度量 报告 工具 、 测 试管 理工 具 等 。 

评估 测试 结果 是 对 实施 测试 后 得 到 的 测试 结果 进行 分 析 ， 分 析 过 程 中 需要 将 实际 获得 的 测 
试 结果 和 预期 结果 进行 对 比 。 如 果 发 现 对 比 结果 不 一 致 ， 则 意味 着 软件 中 存在 错误 ， 需 要 进行 
错误 排查 ， 定 位 错误 并 确定 错误 性 质 。 修 改 错误 后 ， 需 要 修改 相关 的 技术 文档 ， 并 且 对 修改 后 
的 程序 进行 重新 测试 ， 直 到 测试 通过 为 止 。 

排查 与 修正 错误 所 需 花费 的 时 间 往 往 难以 预 估 ， 这 种 排 错 所 固有 的 时 间 不 确定 性 很 可 能 造 
成 测试 进度 的 延 后 ， 需 要 在 测试 项 目 管理 中 引起 高 度 重视 。 

通过 评估 测试 结果 ， 可 以 获得 软件 的 出 错 率 。 建 立 软件 可 靠 性 模型 能 够 定量 地 给 出 软件 的 
可 靠 性 ， 以 此 判断 软件 质量 是 否 达到 可 以 接受 的 程度 ， 软 件 可 以 发 布 。 但 是 ， 如 果 经 常 发 现 需 
求 和 设计 方面 的 严重 错误 ， 那 么 软件 的 质量 和 可 靠 性 就 值得 怀疑 ， 说 明 测试 工作 还 需要 继续 深 
入 进行 。 另 一 方面 ， 如 果 测 试 不 能 发 现 错误 ， 那 么 往往 意味 着 测试 配置 还 不 够 细致 充分 ， 软 件 
中 还 存在 着 潜在 的 错误 。 


软件 测试 用 例 


测试 用 例 构成 设计 和 制定 测试 过 程 的 基础 ， 是 软件 测试 中 最 重要 的 工作 。 


1.8.1 什么 是 测试 用 例 


测试 用 例 是 测试 执行 之 前 已 设计 好 的 一 套 详 细 的 测试 方案 ， 也 是 测试 执行 时 的 最 小 实体 。 
测试 用 例 一 般 是 文档 ， 有 时 也 以 测试 脚本 程序 的 形式 出 现 ， 描 述 了 测试 一 个 特定 软件 产品 的 具 
体 任务 ， 体 现 了 测试 方案 、 方 法 、 技 术 和 策略 ， 包 含 了 测试 目标 、 测 试 环境 、 输 入 数据 、 测 试 
步骤 、 预 期 结果 等 内 容 。 概 况 来 讲 ， 测 试用 例 是 为 了 某 个 特殊 目标 而 编制 的 一 组 测试 输入 、 执 
行 条 件 以 及 预期 结果 ， 其 目的 是 确定 应 用 程序 的 某 个 特性 是 否 能 够 正常 工作 ， 并 且 满 足 特定 用 
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户 需 求 和 软件 设计 结果 。 

执行 测试 用 例 之 后 ， 如 果 发 现 软件 不 能 正常 运行 ， 或 者 测试 结果 和 预期 结果 不 一 致 ， 那 么 
意味 着 发 现 了 软件 缺陷 。 此 时 ， 需 要 详细 记录 所 发 现 的 软件 缺陷 ， 并 且 将 其 输入 到 缺陷 跟踪 系 
统 内 ， 通 知 软件 开发 人 员 改 正 缺陷 。 软 件 缺 陷 经 开发 人 员 修 改 完成 后 ， 再 次 返回 给 测试 人 员 进 
行 确认 ， 以 保证 该 软件 问题 已 成 功 修改 。 

首先 ， 我 们 来 看 一 个 测试 软件 卸载 功能 的 测试 用 例 。 表 1-3 是 一 个 测试 通过 安装 程序 进行 
软件 印 载 的 测试 用 例 ， 里 面体 现 了 用 例 序 号 、 被 测 功能 、 用 例 目的 、 前 提 条 件 ， 尤 其 是 测试 输 
入 和 预期 输出 、 测 试 结果 等 信息 。 这 个 测试 用 例 是 用 一 个 简单 的 Word 模板 写 出 的 ， 不 同 的 软 
件 企 业 一 般 都 会 有 自己 特定 的 测试 用 例 模板 。Word 类 型 的 模板 使 用 较 少 ， 在 写 信息 比较 丰富 
的 性 能 测试 用 例 时 会 使 用 Word 模板 ， 而 对 于 大 量 的 功能 测试 用 例 往往 使 用 Excel 模板 。 例 如 ， 
上 面 提 到 的 测试 用 例 ， 仅 仅 是 测试 软件 卸载 功能 是 否 正确 的 测试 用 例 集中 的 一 个 测试 用 例 。 也 
就 是 说 ， 仅 测试 通过 安装 程序 进行 卸载 是 远 远 不 够 的 ， 我 们 再 看 一 下 通过 Excel 模板 完成 的 软 
件 邱 载 测 试用 例 。 


表 1-3 Word 形式 的 软件 卸载 测试 用 例 


序号 XZ01 
功能 描述 通过 安装 程序 进行 印 载 
用 例 目的 测试 是 否 能 通过 安装 程序 自 带 的 卸载 程序 进行 正确 卸载 ， 并 印 载 干净 
测试 类 型 印 载 测试 
前 提 条 件 已 经 安装 好 程序 ， 并 且 安 装 程序 自 带 了 印 载 程序 
测试 方法 与 步骤 单 击 自 带 的 卸载 程序 ， 根 据 卸 载 提示 信息 印 载 程序 
印 载 后 ， 系 统 能 恢复 到 软件 安装 前 的 状态 (包含 目录 结构 、 动 态 库 、 注 
册 表 、 系 统 配置 文件 、 驱 动 程序 、 关 联 情况 等 ) 
测试 结果 
功能 完成 是 口 ” 否 品 


由 表 1-4 可 见 , 针对 软件 卸载 功能 的 测试 包含 一 组 相关 测试 用 例 , 我 们 称 之 为 测试 套件 (Test 
Suite)， 测 试 套件 是 根据 特定 的 测试 目标 和 任务 而 构造 的 某 个 测试 用 例 的 集合 。 每 个 Excel 形式 
的 测试 用 例 占 用 一 行 ， 因 此 能 够 比较 方便 地 对 针对 某 一 软件 功能 的 测试 用 例 进行 显现 、 管 理 
和 维护 ， 而 Word 形式 的 测试 用 例 一 般 每 个 独占 一 页 ， 用 例 信 息 丰 富 ， 但 管理 和 维护 起 来 比较 
分 散 。 

上 面 两 个 测试 用 例 是 否 就 已 经 是 完整 的 测试 用 例 了 呢 ? 答案 是 否定 的 ， 因 为 仍然 欠缺 一 些 
构成 测试 用 例 的 必 备 信息 ， 例 如 测试 环境 信息 。 由 于 正规 的 Excel 形式 的 测试 用 例 版 面 较 大 ， 
不 易 在 此 展现 , 因此 我 们 在 1.8.2 节 给 出 较为 实用 的 测试 用 例 编写 规范 , 无 论 测试 用 例 的 形式 如 
何 ， 都 应 当 包含 测试 用 例 编写 规范 所 要 求 的 信息 。 


表 1-4 Excel 形式 的 软件 卸载 测试 用 例 
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( 续 表 ) 
序号 测试 页 测试 结果 
X204 ”| 程序 正在 使 用 时 印 载 | 
XZ05 ”| 印 载 过 程 中 取消 印 载 | 


XZ06 突然 中 断 卸 载 过 程 (关闭 程序 、 关 机 、 断 电 、 断 网 等 ) 


1.8.2 ”测试 用 例 编写 规范 
测试 套件 或 测试 用 例 一 般 包 括 如 下 内 容 。 
1. 用 例 版 本 历史 信息 
(1) 项 目 名 称 。 
(2) 项 目 代 号 。 项 目 研发 代号 ， 部 分 项 目 没有 代号 时 可 空缺 。 
(3) 创建 日 期 。 测 试用 例文 件 的 创建 日 期 。 
(4) 版 本 。 测 试用 例文 件 的 版 本 号 。 
(5) 作者 。 创 建 或 修改 新 用 例 版 本 的 测试 人 员 。 
(6) 类 型 。 新 用 例 版 本 的 操作 选项 : C 创建 、A 添加 、M 修改 、D 删除 。 
(7) 备注 。 创 建 或 修改 用 例 的 一 些 特殊 说 明 或 提醒 。 
(8) 参考 文件 名 称 。 项 目 文档 或 技术 文档 的 文件 名 。 
(9) 参考 文件 路 径 /附件 。 项 目 文档 的 公共 提取 地 址 ， 此 条 目 为 用 例 编写 依据 。 
2. 用 例 模板 信息 
(1) CaseID( 用 例 编号 )。 
(2) CheckPoint( 检 查 点 )。 统 一 使 用 “功能 分 支 -- 功 能 点 ”命名 方式 ， 每 个 CheckPoint 不 允许 
出 现 相 同 的 描述 ， 必 须 做 到 可 区 分 ， 例 如 “网 上 订货 -- 订 购 ”。 
(3) Preset Condition( 预 置 条 件 )。 实 施 此 项 测试 用 例 的 前 提 条 件 。 
(4) Test Environment( 测 试 环境 )。 测 试 所 需 硬件 、 软 件 和 网 络 等 测试 平台 的 描述 。 
(5) Input Data( 输 入 数据 )。 可 能 包 插 数据、 文件 以 及 必要 的 数据 库 信 息 。 
(6) Test Steps( 测 试 步骤 )。 
e 测试 步骤 的 编号 统一 使 用 “1.XX” 的 编号 方式 ; 
e 使 用 “->” 作 为 测试 步骤 的 提示 指引 符号 ， 例 如 “打开 文件 -> 关闭 对 话 框 ”; 
e 测试 步骤 如 果 与 当前 条 目的 用 例 检查 点 无 关 ， 则 尽 可 能 合并 步骤 ， 不 要 每 步 操作 对 
应 一 个 步骤 编号 ， 例 如 将 “打开 文件 ”和 “关闭 对 话 框 ” 合 并 为 “打开 文件 -> 关闭 
对 话 框 ”。 
(7) Expect Results( 期 望 结 果 )。 
e 预期 结果 编号 需要 与 步骤 编号 完全 一 致 ， 编 号 命名 与 步骤 一 致 ; 
e ”如果 测试 结果 中 有 特殊 情况 ， 需 要 加 括号 以 注 明 ， 例 如 “测试 网 上 订购 接口 (不 确定 接 
口 参 数 )”。 
(8) Actual Results( 实 际 结果 )。 当 测试 用 例 执行 失败 时 的 执行 结果 描述 (注意 : 该 条 目 对 NA 
用 例 不 适用 )。 
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(9) Pass/FailBlocked/NA( 测 试 结论 )。 记 录用 例 的 通过 和 失败 ，Blocked 为 Bug 无 法 测试 ， 
NA 为 当前 用 例 不 适用 当前 测试 。 

(10) Priority( 用 例 优先 级 )。 使 用 率 高 且 对 项 目 有 重大 影响 的 功能 点 为 P1， 使 用 率 不 高 但 同 
属于 功能 性 的 为 P2， 其 他 文字 性 和 界面 美观 性 为 P3 或 P4。 

(11) Created By( 用 例 编写 者 )。 

(12) Creation Date( 用 例 编写 日 期 )。 

(13) Executed By( 用 例 执行 人 员 )。 

(14) Execution Date( 用 例 执行 日 期 )。 

(15) Execution Version( 执 行 用 例 时 使 用 的 软件 版 本 号 )。 

(16) Comments( 说 明 )。 测 试用 例 时 如 果 出 现 失败 或 被 阻碍 ， 描 述 简要 现象 和 其 他 问题 。 

总 的 来 讲 ， 测 试用 例 包含 测试 目标 、 测 试 环境 、 输 入 数据 、 步 骤 和 期 望 结果 等 信息 。 实 际 
工作 中 ， 重 要 的 是 理解 测试 用 例 应 当 包 含 哪 些 重要 信息 ， 至 于 用 例 模 板 的 具体 样式 和 内 容 可 以 
灵活 修改 ， 不 需要 拘泥 于 固定 格式 。 


1.8.3 ”编写 测试 用 例 的 注意 事项 


1) 为 什么 需要 测试 用 例 

e 有 效 性 : 测试 用 例 能 够 快速 发 现 软件 缺陷 ， 提 高 测试 效率 。 

e 客观 性 : 设计 好 的 测试 用 例 能 够 减少 人 为 因素 的 影响 ， 使 测试 人 员 按照 统一 的 规范 进 
行 测试 。 同 时 ， 有 了 测试 用 例 就 有 了 客观 的 测试 评判 依据 ， 可 以 确定 测试 结果 是 否 通 
过 ， 避 免 测 试 的 盲目 性 。 

。 复 用 性 和 可 维护 性 ， 软件 开发 过 程 中 会 有 不 同 的 版 本 ， 可 以 重复 使 用 测试 用 例 对 它们 
进行 测试 ， 测 试用 例 经 少量 修改 后 即 可 用 于 新 的 测试 工作 。 

e 可 评估 性 : 利用 测试 用 例 的 通过 率 和 覆盖 率 等 指标 可 以 检验 程序 的 质量 。 

e 便于 项 目 管理 :根据 测试 用 例 的 执行 情况 可 以 了 解 项 目 概况 ， 比 如 缺陷 集中 在 哪些 模 
块 ， 哪 一 部 分 的 质量 急需 改进 ， 通 过 修改 和 增加 测试 用 例 可 以 不 断 提 升 测试 质量 ， 利 
用 测试 用 例 容易 量化 工作 ， 有 利于 跟踪 和 控制 项 目 进度 。 

e 便于 交流 与 学 习 : 测试 用 例 反 映 了 产品 的 主要 特性 和 具体 的 测试 工作 内 容 。 团 队 成 员 ， 
尤其 是 新 的 测试 人 员 ， 可 以 通过 对 测试 用 例 的 交流 与 学 习 深入 掌握 产品 和 测试 知识 。 

2) 测试 用 例 设计 原则 

e 正确 性 : 包括 数据 的 正确 性 和 操作 的 正确 性 。 

e 经 济 性 ， 测 试用 例 应 当 尽 可 能 多 地 发 现 软件 缺陷 ， 避 免 设 计 出 测试 效果 相同 的 多 个 重 
复 性 测试 用 例 。 

。 最 小 化 :每 个 测试 用 例 应 当 尽 可 能 简单 ， 覆 盖 尽 可 能 少 的 功能 ， 这 样 可 以 使 用 例 清晰 、 
测试 目的 明确 、 用 例 间 耦 合 度 低 ， 因 此 便于 用 例 的 调试 、 分 析 和 维护 。 

e 完备 的 步骤 : 需要 足够 详细 、 准 确 和 清晰 的 测试 步骤 描述 ， 任 何 一 名 测试 人 员 都 可 以 
根据 测试 用 例 准确 地 完成 测试 。 

e 可 判定 性 : 测试 执行 结果 的 正确 性 是 可 以 判定 的 ， 每 一 个 测试 用 例 都 要 有 相应 的 期 望 
结果 。 


和 28 


第 1 章 软件 测试 概述 


e 可 再 现 性 :对 同样 的 测试 用 例 ， 系 统 的 执行 结果 应 当 是 相同 的 。 
e 代表 性 : 能 够 代表 并 覆盖 各 种 合理 的 和 不 合理 的 、 合 法 的 和 非法 的 、 边 界 内 的 和 越界 
的 以 及 极限 的 输入 数据 、 操 作 和 环境 设置 等 。 

关于 测试 用 例 的 代表 性 ， 有 两 个 常用 的 测试 概念 : 正面 测试 和 负面 测试 。 完 整 的 测试 应 当 
包括 正面 测试 和 负面 测试 。 

正面 测试 验证 程序 应 该 执行 的 工作 。 根 据 需 求 和 设计 要 求 ， 从 用 户 正常 使 用 软件 各 项 功能 
的 角度 出 发 设计 测试 用 例 ， 测 试用 例 的 输入 数据 和 操作 步骤 都 是 有 效 与 合理 的 ， 以 此 验证 程序 
基本 功能 是 否 能 够 正常 使 用 。 

负面 测试 验证 程序 不 应 该 执行 的 工作 。 从 用 户 可 能 输入 非法 数据 、 蜡 常 操作 、 程 序 运行 环 
境 异 常 变化 等 非 正常 角度 出 发 设计 测试 用 例 ， 主 要 是 通过 无 效 输入 数据 构成 测试 用 例 ， 以 此 发 
现 更 多 的 潜在 软件 缺陷 。 

3) 什么 时 候 编 写 测试 用 例 

对 于 这 个 问题 还 没有 统一 的 标准 答案 ， 当 然 ， 测 试用 例 需 要 尽早 编写 。 一 般 来 讲 ， 通 常会 
在 测试 设计 阶段 编写 测试 用 例 。 此 时 ， 需 求 分 析 和 测试 计划 都 已 完成 ， 编 写 测试 用 例 的 前 提 条 
件 已 初步 具备 ， 可 以 同步 于 概要 设计 尽早 开始 测试 用 例 编写 工作 。 测 试用 例 编写 越 早 ， 就 能 越 
早 地 深入 理解 需求 与 设计 的 细节 内 容 并 且 发 现 可 能 存在 的 问题 ， 使 得 这 些 问题 在 软件 开发 过 程 
的 早期 得 到 修正 ， 大 幅 减 小 后 期 修正 的 代价 。 

4) 测试 用 例 编写 依据 

测试 用 例 是 为 了 发 现 软件 缺陷 ， 而 软件 缺陷 就 是 软件 与 用 户 需 求 的 偏差 。 因 此 ， 编 写 测试 
用 例 的 唯一 标准 就 是 用 户 需 求 。 具 体 来 讲 ， 编 写 测试 用 例 所 依据 的 主要 参考 文档 和 相关 资料 
包括 : 
软件 需求 规格 说 明 书 
软件 设计 说 明 书 ， 包 括 概要 设计 和 详细 设计 等 ; 
软件 测试 计划 ; 
软件 原型 系统 ; 
己 有 的 成 熟 软件 测试 用 例 等 

软件 设计 说 明和 测试 计划 者 来 源 于 软件 需求 软件 原型 系统 可 以 看 作 没有 嵌入 全 部 代码 的 
软件 界面 ， 可 以 用 来 展示 很 多 具体 化 的 软件 需求 。 参 考 同 类 软件 的 已 经 基本 成 型 的 或 成 熟 的 测 
试用 例 ， 可 以 很 好 地 启发 测试 用 例 设计 思路 ， 通 过 借鉴 性 的 修改 可 以 节省 大 量 设计 时 间 。 

概括 来 讲 ， 设 计 测试 用 例 时 所 需要 做 的 就 是 理解 软件 需求 与 设计 ， 层 层 分 解 出 若干 具体 的 
功能 和 非 功能 需求 点 ， 根 据 一 定 的 测试 用 例 设计 方法 ， 设 计 出 全 面 、 合 理 的 测试 用 例 。 

5) 测试 用 例 编写 人 员 

通常 安排 经 验 丰富 的 测试 人 员 设 计 测试 用 例 ， 经 验 不 足 的 测试 人 员 可 以 先 从 事 测试 用 例 执 
行 工作 ， 随 着 知识 与 经 验 的 积累 ， 再 逐步 开始 用 例 设 计 工作 。 

这 是 因为 ， 虽 然 测 试用 例 设 计 和 编写 能 力 是 测试 人 员 的 必 备 能 力 ， 但 是 有 效 和 熟练 地 设计 
和 编写 测试 用 例 是 非常 复杂 的 技术 工作 。 用 例 设计 和 编写 者 不 仅 需要 掌握 软件 测试 的 基本 理论 
和 技术 ， 而 且 对 特定 软件 项 目 业务 知识 、 需 求 和 设计 具体 内 容 、 软 件 程序 与 模块 结构 都 要 非常 
了 解 。 另 一 方面 ， 让 经 验 不 足 的 测试 人 员 编写 用 例会 带 来 很 大 的 风险 ， 很 容易 造成 测试 覆盖 率 
低 、 重 用 性 差 、 不 易 审查 和 修改 等 问题 。 
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1.8.4 设计 测试 用 例 的 误区 


设计 和 编写 测试 用 例 时 经 常会 存在 以 下 误区 。 

1) 把 测试 用 例 的 设计 等 同 于 测试 输入 数据 的 设计 

这 种 错误 认识 掩盖 了 测试 用 例 设计 内 容 的 丰富 性 和 技术 的 复杂 性 。 虽 然 测试 的 有 效 性 和 效 
率 很 大 程度 上 是 由 测试 用 例 输入 数据 决定 的 ， 但 是 通过 对 测试 用 例 编写 规范 的 学 习 ， 我 们 应 当 
认识 到 ， 测 试 输入 数据 仅仅 是 测试 用 例 的 一 部 分 。 除 了 确定 测试 输入 数据 之 外 ， 测 试用 例 还 包 
括 测试 环境 、 测 试 步 又、 预期 结果 、 优 先 级 等 重要 内 容 。 和 欠缺 上 述 信息 ， 将 造成 测试 用 例 无 法 
正常 执行 、 无 法 验证 测试 结果 、 无 法 进行 有 效 的 组 织 管理 等 问题 。 

2) 强调 测试 用 例 设计 得 越 详细 越 好 

这 种 错误 认识 经 常 表现 在 两 个 方面 : 尽 可 能 设计 足够 多 的 测试 用 例 和 测试 用 例 写 得 越 详 细 
越 好 ， 带 来 的 最 大 危害 就 是 会 耗费 大 量 的 测试 资源 ， 包 括 时 间 、 人 力 与 物力 。 

测试 工作 也 是 一 项 软件 工程 项 目 ， 因 此 必须 满足 软件 工程 项 目 质量 、 时 间 和 成 本 三 要 素平 
衡 的 原则 。 软 件 项 目 中 留 给 测试 工作 的 时 间 往 往 极 为 有 限 ， 测 试 设计 耗费 时 间 过 长 ， 实 际 执行 
测试 的 时 间 就 所 剩 无 几 了 ， 结 果 是 无 法 保证 测试 任务 的 完成 。 我 们 需要 理解 的 是 ， 测 试 的 根本 
目的 是 尽 可 能 发 现 软件 缺陷 ， 因 此 需要 在 软件 工程 三 要 素平 衡 的 基础 上 ， 用 有 效 的 方法 设计 出 
合理 数量 的 测试 用 例 ， 用 较 少 的 测试 用 例 满足 测试 覆盖 率 要 求 。 同 时 ， 根 据 项 目 和 测试 人 员 情 
况 确定 测试 用 例 详细 描述 程度 ， 满 足 测 试 团 队 人 员 基 于 用 例文 档 进行 沟通 的 要 求 即 可 ， 在 用 例 
评审 阶段 进行 综合 把 关 。 

3) 追求 测试 用 例 设计 “一 步 到 位 ” 

软件 在 不 断 变 化 ， 测 试用 例 自然 也 就 需要 随 之 不 断 变化 ， 因 此 测试 用 例 设计 不 可 能 一 步 到 
位 ,一劳永逸 。 这 种 错误 认识 会 导致 设计 出 的 测试 用 例 与 需要 和 设计 不 同步 , 难以 维护 和 复 用 ， 
缺乏 实用 性 。 

软件 项 目的 变化 来 自 于 很 多 方面 ， 用 户 可 能 对 软件 功能 提出 新 的 需求 ， 软 件 设计 会 发 生变 
更 ， 程 序 代码 不 断 细 化 ， 软 件 版 本 不 断 升级 ， 测 试 过 程 中 可 能 发 现 已 有 测试 用 例 需要 完善 。 因 
此 ， 需 要 根据 开发 和 测试 过 程 中 的 具体 变化 ， 增 减 测试 用 例 的 数量 ， 修 改 和 更 新 测试 用 例 的 
内 容 。 

人 将 多 个 测试 用 例 混在 一 个 用 例 中 

这 种 错误 的 测试 用 例 设计 结果 很 容易 引起 混淆 ， 执 行 测试 用 例 的 时 候 ， 如 果 有 些 用 例 通 过 
而 有 些 没有 通过 ， 那 么 将 很 难 记录 测试 结果 。 这 种 错误 的 起 因 往往 是 由 于 片面 地 追求 单个 测试 
用 例 的 覆盖 率 ， 使 得 一 个 测试 用 例 涉及 多 个 相互 关联 的 程序 功能 ， 给 测试 用 例 的 调试 、 分 析 和 
维护 带 来 了 困难 。 


J] 思考 题 


1. 什么 是 软件 缺陷 ? 评判 是 否 是 软件 缺陷 的 标准 是 什么 ? 
2. 除了 程序 ， 软 件 文档 中 也 有 软件 缺陷 吗 ? 
3. 软件 测试 的 任务 就 是 发 现 软件 缺陷 ， 这 个 观点 对 吗 ? 


和 ao 
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[i 上 


- 简 述 常见 的 软件 测试 认识 误区 。 

. 软件 测试 都 包含 哪些 主要 分 类 ? 

. 从 软件 测试 过 程 模型 谈 一 下 测试 与 开发 的 关系 。 

- 什么 是 测试 用 例 ? 测试 用 例 中 最 主要 的 应 当 包 含 哪些 信息 ? 
- 简 述 设计 测试 用 例 时 常见 的 认识 误区 。 
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白 盒 测试 


本 章 从 静态 测试 和 动态 测试 两 个 方面 介绍 白 盒 测试 基本 技术 。 荐 态 白 盒 测试 主要 包括 代码 
检查 和 静态 结构 分 析 两 种 方法 。 动 态 白 盒 测试 主要 包括 程序 插 柱 、 逻 辑 覆盖 测试 、 基 本 路 径 测 
试 、 循 环 结构 测试 等 。 动 态 白 盒 测试 方法 是 本 章 重点 内 容 ， 也 是 白 盒 测试 中 发 现 软件 缺陷 的 主 
要 手段 。 其 中 ， 逻 辑 履 盖 测 试 和 基本 路 径 测试 方法 是 实际 工作 中 最 常用 到 的 两 种 动态 白 盒 测 试 
技术 ， 本 章 将 通过 多 个 示例 对 上 述 两 种 白 盒 测试 方法 进行 详细 说 明 。 


四 | 对 于 白 盒 测 试 的 基本 认识 


在 第 1 章 介绍 的 软件 测试 分 类 中 ， 我 们 已 经 简单 介绍 了 什么 是 白 盒 测 试 。 在 这 里 ， 我 们 给 

出 对 于 白 盒 测 试 更 为 详细 的 说 明 ， 以 便于 加 深 对 白 盒 测试 的 认识 。 
白 盒 测 试 一 般 用 来 分 析 程序 的 内 部 结构 ， 因 此 有 时 也 被 称 为 基于 程序 的 测试 。 白 盒 测 试 的 
前 提 条 件 是 已 知 程序 的 内 部 工作 过 程 ， 清 楚 其 语句 、 变 量 状 态 、 逻 辑 结构 和 执行 路 径 等 关键 信 
息 ， 因 此 也 被 称 为 玻璃 盒 测试 。 白 盒 测 试 主要 是 根据 程序 内 部 的 逻辑 结构 和 相关 信息 ， 检 验 程 
序 中 的 各 条 通路 是 否 都 能 够 按 设计 要 求 正确 工作 ， 从 这 个 意义 上 讲 ， 白 盒 测 试 又 常 被 称 为 结构 
测试 或 逻辑 驱动 测试 。 当 然 ， 白 盒 测试 还 包括 对 程序 所 有 内 部 成 分 和 内 部 操作 的 检查 过 程 ， 例 
如 代码 评审 也 属于 白 盒 测试 ， 是 对 编码 规范 性 和 正确 性 的 综合 检查 过 程 。 

白 盒 测 试 针 对 的 是 程序 的 内 部 结构 和 运行 过 程 ， 可 以 对 程序 的 每 一 条 语句 、 每 一 个 条 件 、 
每 一 个 分 支 甚至 每 一 条 路 径 进行 测试 。 白 盒 测 试 重 视 测试 覆盖 率 的 度量 ， 被 看 作 “ 基 于 有 覆盖 的 
测试 ”， 要 求 对 被 测 程序 的 结构 能 够 做 到 一 定 程度 的 覆盖 ， 通 过 不 同类 型 的 覆盖 准则 来 判断 测 
试 执行 的 充分 性 。 白 盒 测 试 有 利于 引导 测试 人 员 向 提高 覆盖 率 的 方向 完成 测试 工作 ， 不 断 发 现 
那些 潜在 的 程序 错误 。 理 论 上 如 果 有 充分 的 时 间 ， 白 盒 测 试 能 够 保证 所 有 的 语句 和 条 件 得 到 测 
试 ， 使 测试 的 覆盖 程度 达到 很 高 。 

白 盒 测试 主要 用 于 测试 过 程 早 期 的 单元 测试 阶段 ， 是 进一步 完成 功能 测试 和 性 能 测试 的 基 
基本 测试 原则 包括 : 

e 保证 程序 模块 中 的 所 有 独立 路 径 都 至 少 使 用 一 次 ; 

e 保证 程序 中 的 所 有 逻辑 值 都 能 测试 Tue 和 False 两 种 情况 ; 

。 在 循环 的 边界 和 运行 的 界限 内 执行 循环 体 ; 


础 
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e 测试 程序 内 部 数据 结构 的 有 效 性 以 及 完成 边界 数据 取 值 情况 下 的 测试 。 

白 盒 测试 用 例 的 设计 经 常 需要 参考 软件 详细 设计 说 明 ， 对 测试 人 员 软 件 编程 经 验 和 综合 业 
务 能 力 的 要 求 很 高 ， 白 盒 测 试 工程 师 已 经 属于 高 级 测试 工程 师 。 另 外 ， 满 足 一 定 履 盖 准则 和 用 
盖 率 的 白 盒 测试 经 常 比 程序 编码 本 身 所 花费 的 时 间 还 要 长 ， 因 此 测试 成 本 很 大 ， 往 往 给 白 盒 测 
试 的 正常 实施 带 来 一 定 的 困难 。 

需要 注意 的 是 ， 白 盒 测 试 方法 试图 穷 举 所 有 程序 路 径 进行 测试 , 这 往往 是 不 可 能 的 。 图 2-1 
所 示 的 程序 流程 图 包含 30 次 循环 , 虽然 程序 流程 结构 很 简单 , 但 是 可 能 存在 的 执行 路 径 数 高 达 
33”3。 如 果 对 所 有 路 径 进 行 穷 举 测试 ， 假 设 测试 每 条 路 径 需 要 lms， 总 共 需 要 约 6528 年 。 因 此 
需要 根据 特定 的 原则 设计 测试 用 例 ， 使 得 用 例 数量 尽 可 能 少 。 


(开始 ) 
YY 
循环 次 数 硅 30 
YY 于 i 
< 
结束 


2-1 穷 举 路 径 测试 示例 


当然 ,产生 上 述 天 文 数字 路 径 数 的 原因 是 程序 包含 循环 结构 。 那 么 ， 如 果 不 考虑 循环 结构 ， 
100% 和 覆盖 所 有 路 径 ， 是否 就 能 够 发 现 所 有 程序 问题 昵 ? 答案 是 令 人 失望 的 ， 程 序 仍然 可 能 存在 
错误 ! 原因 是 穷 举 路 径 测 试 查 不 出 违反 设计 规范 的 错误 ， 不 能 发 现 程序 中 已 实现 但 不 是 用 户 所 
需要 的 功能 ， 不 可 能 查 出 程序 中 因 遗 漏 路 径 而 产生 的 错误 ， 可 能 发 现 不 了 一 些 与 数据 相关 的 异 
常 错误 。 
因此 ， 尽 管 白 盒 测 试 方法 深入 程序 内 部 ， 针 对 程序 细节 的 逻辑 结构 进行 测试 ， 对 代码 的 测 
试 比较 彻底 ， 但 仍然 存在 着 一 定 的 局 限 性 。 


根据 测试 时 是 否 运 行 源 程序 ， 白 盒 测 试 可 以 分 为 静态 测试 和 动态 测试 ， 而 静态 测试 方法 又 
主要 分 为 代码 检查 和 静态 结构 分 析 等 。 静 态 测试 就 是 不 实际 运行 被 测试 的 软件 ， 而 只 是 静态 地 
检查 程序 代码 、 界 面 或 文档 中 可 能 存在 的 错误 的 过 程 。 
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2.2.1 代码 检查 法 

代码 检查 法 主要 包括 桌面 检查 、 代 码 走 查 和 代码 审查 ， 主 要 检查 代码 的 规范 性 、 可 读 性 、 
结构 的 合理 性 、 逻 辑 表 达 的 正确 性 等 内 容 。 实 践 证 明 ， 代 码 检查 比 动态 测试 更 为 有 效 ， 能 快速 
发 现 30%~70% 的 逻辑 设计 和 编码 缺陷 ， 应 当 在 程序 编译 和 动态 测试 之 前 进行 。 但 是 , 代码 检查 
对 技术 能 力 和 经 验 的 要 求 很 高 ， 并 且 非 常 耗 时 。 表 2-1 给 出 了 常见 的 三 种 代码 检查 法 的 对 比 。 


表 2-1 桌面 检查 、 代 码 走 查 和 代码 审查 的 对 比 


项 目 桌面 检查 代 碍 走 查 代码 市 村 
二 程序 的 规格 说 明 、 编 码 规 | 参加 入 员 事先 阅读 设计 和 源 Se 
范 、 错 课表、 源 代码 。 | 代码， 准备 代 表 性 测试 用 例 | 人 和， 
形式 无 正式 会 议 
参加 入 员 程序 编写 者 本 人 开发 组 内 部 人 员 开发 、 测 试 和 相关 人 员 
主要 技术 方法 | 无 远 辑 运行 测试 用 例 缺陷 检测 表 
注意 事项 注释 与 交友 规范 限时 、 不 当场 修改 代码 ”| 限时 、 不 当场 修改 代码 
生成 文档 天 静态 分 析 错误 报告 结果 报告 
目标 无 代码 标准 规范 、 无 凶 辑 错误 | 代码 标准 规范 、 无 迎 相 错误 
本 a 便于 项 目 组 成 员 交 流 ， 共 同 | 有 计划 地 对 软件 产品 进行 
有. 理解 软件 产品 编码 质量 控制 
不 正式 依赖 个 人 能 力 、 
本 国民 图 


1) 桌面 检查 

桌面 检查 是 最 不 正式 ， 也 是 最 省 时 的 静态 测试 技术 。 桌 面 检查 就 是 程序 员 对 自己 的 代码 进 
行 一 次 自我 检查 ， 对 编码 成 果 进 行 自我 完善 。 程 序 员 根 据 程序 的 规格 说 明 、 编 码 规范 、 常 见 错 
误 列表 等 ， 仔 细 阅 读 源 代码 ， 发 现 程序 中 的 问题 和 错误 。 由 于 桌面 检查 没有 任何 约束 ， 依 赖 程 
序 员 个 人 的 经 验 和 技术 能 力 ， 因 此 对 于 大 多 数 人 而 言 ， 检 查 效率 很 低 。 由 编程 者 本 人 完成 的 桌 
面 检查 明显 违背 了 软件 测试 的 独立 性 原则 , 因此 最 好 由 其 他 编程 人 员 通 过 伙伴 检查 的 方式 进行 。 
即便 如 此 ， 其 效果 仍然 远 远 逊色 于 代码 走 查 和 代码 审查 。 

通常 桌面 检查 包含 以 下 内 容 : 
对 变量 和 标号 的 交叉 引用 表 的 检查 。 检 查 变量 的 定义 和 使 用 以 及 转向 特定 位 置 的 标号 ; 
对 子 程序 、 宏 、 函 数 的 检查 ; 
等 价 性 检查 。 检 查 全 部 等 价 变量 类 型 的 一 致 性 ; 
常量 检查 ; 
设计 标准 检查 。 检 查 程序 是 否 违反 设计 标准 ; 
风格 检查 ; 
控制 流 检查 ; 
选择 、 激 活路 径 检查 。 检 查 每 条 控制 流 路 径 是 否 都 能 被 程序 激活 ， 达 到 语句 覆盖 ; 
规格 符合 性 检查 。 检 查 是 否 符合 程序 规格 说 明 以 及 编码 规范 ; 
补充 文档 检查 。 
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2) 代码 走 查 

代码 走 查 的 过 程 是 非 正式 的 ， 一 般 在 开发 组 内 部 进行 ， 通 过 代码 走 查 小 组 ， 以 会 议 的 方式 
来 检查 代码 。 小 组 成 员 一 般 提前 阅读 设计 规格 书 、 源 程序 等 文档 , 准备 一 些 代 表 性 的 测试 用 例 ， 
通过 逻辑 运行 程序 的 方式 共同 交流 、 讨 论 和 发 现 程序 问题 。 借 助 典型 测试 用 例 可 以 帮助 发 现 程 
序 在 逻辑 和 功能 上 的 问题 ， 但 是 对 所 发 现 的 问题 并 不 做 现场 修改 。 

代码 走 查 有 利于 项 目 组 人 员 共同 理解 项 目 所 涉及 的 业务 信息 和 具体 代码 实现 过 程 ， 交 换代 
码 编写 思路 ， 帮 助 开 发 人 员 找 出 程序 错误 和 解决 方法 。 很 多 软件 缺陷 并 非 需要 到 运行 程序 进行 
测试 时 才能 发 现 ， 通 过 合理 的 代码 走 查 可 以 发 现 和 解决 相当 多 的 程序 问题 。 

3) 代码 审查 

代码 审查 是 一 种 正式 的 评审 活动 ， 通 过 正式 会 议 的 方式 进行 ， 事 先 一 般 具 有 制定 好 的 会 议 
计划 和 流程 ， 会 议 中 应 用 预先 定义 好 的 标准 和 检查 技术 检查 程序 和 文档 ， 发 现 软 件 缺陷 ， 会 后 
形成 正式 的 审查 结果 报告 。 与 代码 走 查 相 比 ， 代 码 审 查 也 是 通过 组 成 审查 小 组 的 形式 对 程序 进 
行 检查 ， 但 是 组 成 人 员 更 多 ， 包 括 项 目 开发 组 、 测 试 组 和 相关 人 员 (QA、 产 品 经 理 等 )。 

会 议 前 ， 审 查 小 组 成 员 需 要 提前 阅读 需求 和 设计 规格 说 明 书 、 源 程序 等 文档 。 另 外 ， 还 需 
要 准备 一 份 缺陷 检查 表 ， 在 表 中 分 类 列 出 所 有 可 能 发 生 的 错误 供 审查 小 组 对 照 检查 。 开 发 人 员 
是 会 议 中 检查 项 目的 生成 者 ， 因 此 一 般 由 开发 人 员 负 责 提供 有 关 检查 项 目 资料 ， 并 且 在 会 议 过 
程 中 回答 审查 小 组 成 员 的 问题 。 程 序 员 在 会 议 中 讲解 程序 的 
逻辑 实现 ， 审 查 小 组 通过 提问 、 讨 论 和 争论 的 方式 促进 问题 
的 暴露 ， 往 往 能 够 发 现 30%~70% 的 逻辑 设计 错误 和 编码 错 
误 。 与 代码 走 查 一 样 ， 为 了 节约 时 间 不 跑题 ， 避 免 无 休止 的 
争论 ， 代 码 审查 限时 并 且 不 对 所 发 现 的 问题 进行 现场 修改 。 

代码 审查 是 软件 开发 过 程 中 必 不 可 少 的 环节 。 谷 歌 前 资 
深 软件 开发 工程 师 Mark Chu-Carroll 博士 ( 见 图 2-2) 认 为 ， 
Google 的 程序 之 所 以 如 此 优秀 的 一 个 重要 原因 看 起 来 很 简 
单 : 代码 审查 。 在 Google， 没 有 任何 项 目的 程序 源 代 码 可 以 
在 没有 经 过 有 效 的 代码 审查 前 就 提交 到 代码 库 中 。 代 码 审查 
最 重要 的 作用 和 需要 注意 的 事项 为 : 图 2-2 ”Mark Chu-Carroll 博士 

e ”因为 知道 存在 代码 审查 ， 编 码 者 编写 代码 更 为 规范 

e ”代码 审查 能 传播 知识 ， 使 模块 编写 者 之 外 的 审查 者 也 能 熟悉 程序 的 设计 和 架构 ; 
确保 程序 作者 自己 写 出 的 代码 是 正确 的 ; 
不 应 过 于 匆忙 地 完成 代码 审查 
e 需要 遵循 严格 的 编码 规范 。 


2.2.2 静态 结构 分 析 法 


静态 结构 分 析 法 实际 上 是 通过 白 盒 测 试 工具 辅助 进行 程序 检查 的 一 种 方法 。 阅 读 和 理解 代 
码 是 一 件 很 困难 的 工作 。 代 码 以 文本 格式 写成 ， 包 含 很 多 复杂 的 数据 结构 和 风 辑 结构 ， 即 使 是 
非常 符合 编码 规范 的 源 代码 ， 理 解 起 来 也 具有 一 定 的 困难 。 研 究 表明 ， 程 序 员 38% 的 时 间 都 被 
用 于 理解 源 代码 。 白 盒 测 试 工具 能 够 在 分 析 程序 的 基础 上 提供 各 种 直观 的 图 表 ， 全 面 详细 地 展 
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示 程 序 各 方面 的 情况 ， 使 开发 和 测试 人 员 更 容易 找 出 其 中 的 问题 。 

在 静态 结构 分 析 中 ， 测 试 人 员 通 过 测试 工具 分 析 程 序 的 系统 结构 、 数 据 结构 、 数 据 接口 、 
控制 逻辑 等 内 部 结构 ， 生 成 函数 调用 关系 图 、 程 序 控制 流 图 、 内 部 文件 调用 关系 图 、 子 程序 表 、 
宏和 函数 参数 表 等 各 类 图 表 ， 可 以 清晰 地 呈现 整个 系统 的 组 成 结构 ， 方 便 阅 读 和 理解 。 通 过 分 
析 这 些 图 表 ， 测 试 人 员 可 以 快速 和 有 效 地 发 现 程序 中 潜在 的 错误 。 表 2-2 给 出 了 主要 的 静态 结 


构 分 析 图 表 及 其 内 容 与 作用 。 


表 2-2 静态 结构 分 析 图 表 及 其 内 容 与 作用 
内 容 与 作用 


函数 调用 关系 图 


模块 控制 流 图 


标号 交叉 引用 表 
变量 交叉 引用 表 


子 程序 ( 宏 、 函 数 ) 引 
用 表 


。 列 出 所 有 函数 ， 用 连 线 表 示 调用 关系 ， 展 示 系统 的 结构 

。 发 现 系统 是 否 存在 结构 缺陷 、 区 分 函数 的 重要 程度 、 确 定 测试 覆盖 级 别 

。 检查 函数 的 调用 关系 是 否 正确 

。 是 否 存在 递归 调用 

。 函数 的 调用 层次 是 否 过 深 

。 检查 是 否 存在 孤立 而 未 被 调用 的 函数 

。 确定 函数 调用 频 度 ， 重 点 检查 被 频繁 调用 的 函数 

e 由 节点 和 边 组 成 ， 每 个 节点 代表 一 条 或 多 条 语句 ， 边 表示 控制 流 

。 能 够 直观 地 反映 模块 的 内 部 逻辑 结构 

。 列 出 所 有 模块 中 用 到 的 标号 

。 标号 的 属性 ， 包 括 已 说 明 、 未 说 明 、 已 使 用 、 未 使 用 

。 模块 以 外 的 全 局 标号 、 计 算 标号 

。 展示 所 有 变量 的 定义 和 引用 情况 

。 变量 的 属性 ， 包 括 是 否 已 说 明 、 是 否 已 使 用 、 类 型 、 是 否 属于 公共 变量 、 
全 局 变量 等 

列 出 所 有 子 程序 、 宏 和 函数 的 属性 ， 包 括 类 型 、 是 否 已 定义 、 是 否 已 引用 、 

引用 次 数 、 输 入 输出 参数 的 数量 、 顺 序 和 类 型 

列 出 在 等 价 语句 或 等 值 语句 中 出 现 的 全 局 变量 和 标号 

列 出 所 有 数字 和 字符 常数 


借助 图 表 信息 ， 测 试 人 员 可 以 完成 如 下 静态 错误 分 析 : 

e 数据 类 型 和 单位 分 析 

e 引用 分 析 。 找 出 变量 引用 错误 ， 例 如 变量 赋值 以 前 被 引用 或 赋值 后 未 被 引用 ; 

e ”表达 式 分 析 。 发 现 表 达 式 中 括号 使 用 不 正确 、 数 据 下 标 越界 等 错误 ; 

e 接口 分 析 。 检 查 模块 之 间接 口 的 一 致 性 ， 以 及 模块 与 外 部 数据 库 之 间接 口 的 一 致 性 。 


村 程序 插 桩 


在 白 盒 测 试 中 ， 程 序 插 桩 是 一 种 最 基本 的 动态 测试 手段 ， 有 着 广泛 的 应 用 。 
程序 揪 桩 技术 ， 是 在 保证 被 测 程序 原 有 逻辑 完整 性 的 基础 上 在 程序 中 插入 一 些 语句 ， 这 些 
语句 被 称 为 “ 探 针 ”“ 探 测 器 ”或 “探测 点 ”， 其 本 质 就 是 进行 信息 采集 的 代码 段 。 通 过 探 针 
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的 执行 ， 记 录 和 显示 程序 语句 的 执行 情况 、 变 量 的 变化 等 特征 数据 。 通 过 对 这 些 数据 的 分 析 ， 
可 以 获得 程序 的 控制 流 和 数据 流 信息 ， 进 而 得 到 逻辑 覆盖 等 动态 信息 ， 从 而 对 程序 运行 状态 和 
运行 逻辑 的 正确 性 进行 判断 ， 发 现 其 中 的 问题 。 

测试 人 员 常 常 借助 程序 插 桩 的 方法 来 收集 程序 动态 运行 行为 ， 一 些 与 运行 环境 相关 的 程序 
行为 只 能 通过 程序 插 桩 的 方法 来 收集 , 静态 程序 分 析 无 法 完成 这 样 的 工作 。 通 过 程序 插 桩 技术 ， 
能 够 获取 各 种 程序 信息 ， 是 对 程序 进行 白 盒 测试 的 一 种 有 效 手段 。 例 如 ， 如 果 想 知道 程序 中 所 
有 语句 是 否 都 被 执行 ， 也 就 是 语句 或 程序 分 支 覆 盖 的 情况 ， 或 者 想 了 解 每 个 语句 的 实际 运行 次 
数 ， 就 可 以 利用 程序 插 桩 技术 。 
图 2-3 是 计算 两 个 整数 的 最 大 公约 数 的 程序 插 桩 示例 ， 左 边 是 函数 源 程序 ， 右 边 是 程序 的 
流程 图 。 最 大 公约 数 是 指 两 个 或 多 个 整数 共有 约 数 中 最 大 的 一 个 ， 例 如 ，12 和 30 的 最 大 公约 
数 是 6， 算 法 的 含义 在 这 里 并 不 重要 。 虚 线 框 代 表 在 源 程序 中 插入 的 一 些 探 针 语句 ， 用 于 记录 
语句 执行 的 次 数 ， 是 一 些 计数 器 ， 可 以 用 数组 的 方式 实现 。 


COJ=CCODHI 


CC)=CC)+1 
int Get_GCD(int X,int Y) 


{ 

while(X!=Y) 

{ WC PR 

if(X>Y) [ce)ce)1] CCOD+1] 

X=X-Y; a A 
else M4 
Y=Y-X; 返回 X ~ ~ 

} vy a i 
es 《结束 ) cGFcGH [OCO+ 


} 
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2-3 ”最 大 公约 数 计 算 函 数 的 程序 插 桩 过 程 


CG) 用 于 记录 函数 被 调用 的 次 数 ，CC) 用 于 记录 循环 执行 的 次 数 ，C(G3) 是 函数 出 口 计数 器 ， 
C(D 和 C(5) 是 主要 程序 分 支 上 的 计数 器 。 如 果 在 程序 开始 时 插入 对 计数 器 数组 的 初始 化 程序 ， 
在 程序 返回 前 输出 各 计数 器 的 值 ， 就 构成 了 完整 的 插 桩 程序 。 

在 程序 插 桩 时 ， 需 要 注意 的 要 点 如 下 。 

1) 需要 探测 哪些 信息 

这 需要 根据 具体 的 测试 目标 来 决定 。 例 如 ， 如 果 需 要 知道 各 种 覆盖 标准 下 对 应 元 素 的 覆盖 
情况 , 就 需要 探测 相应 元 素 是 否 运 行 ; 如 果 需 要 知道 程序 运行 到 每 个 位 置 的 执行 结果 是 否 正确 ， 
就 需要 输出 该 位 置 的 特定 信息 。 
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2) 在 什么 位 置 设置 探测 点 
通常 在 如 下 位 置 设置 探测 点 : 
e 程序 的 第 一 条 可 执行 语句 之 前 ， 用 于 判断 程序 是 否 被 执行 
有 标号 的 可 执行 语句 之 前 ; 
for、while、do until 等 循环 语句 处 ; 
让 、then、else 等 条 件 分 支 语句 处 ; 
输入 语句 之 后 ， 用 于 检验 输入 数据 的 正确 性 ; 
输出 语句 之 前 ， 用 于 检验 将 要 输出 的 数据 是 否 正确 ; 
函数 、 过 程 等 程序 调用 语句 之 后 ， 用 于 判断 调用 结果 是 否 正确 ; 
retum 语句 之 前 ， 判 断 程序 是 否 正常 返回 。 如 果 探 针 设 置 在 retum 语句 之 后 ， 它 将 无 法 
被 执行 。 

3) 需要 设置 多 少 个 探测 点 

一 般 情况 下 ， 在 没有 分 支 的 程序 段 中 只 需要 在 首尾 各 设置 一 个 探测 点 ， 用 于 确定 程序 执行 
时 该 段 程序 是 否 被 覆盖 。 这 样 的 程序 段 由 一 些 顺序 执行 的 语句 组 成 ， 又 称 为 “顺序 块 ”。 如 果 
顺序 块 的 第 一 条 语句 被 执行 ， 那 么 其 他 语句 也 会 被 执行 。 因 此 ， 无 须 对 每 条 语句 都 进行 插 桩 操 
作 。 但 是 ， 如 果 程序 中 有 各 种 分 支 控制 结构 ， 如 各 种 循环 和 条 件 判断 分 支 结构 ， 那 么 为 了 插入 
最 少 的 探测 点 ， 需 要 针对 程序 的 控制 结构 进行 具体 分 析 。 

4) 如 何在 程序 的 特定 位 置 插 入 用 于 判断 变量 特性 的 语句 

通过 程序 插 桩 技术 ， 可 以 在 程序 的 特定 位 置 插入 某 些 用 于 判断 变量 特性 的 断言 语句 ， 以 便 
证 实 程序 运行 时 的 某 些 特性 ， 从 而 帮助 排除 故障 。 这 种 方法 是 证 明 程 序 正 确 性 的 基本 步 又， 虽 
然 不 是 一 种 严格 证 明 方法 ， 但 具有 一 定 的 实用 性 。 

需要 注意 的 是 ， 程 序 插 桩 并 不 是 独立 的 白 盒 测 试 方法 ， 一 般 要 和 诸如 覆盖 测试 等 方法 结合 
起 来 使 用 。 在 实现 程序 覆盖 测试 时 ， 经 常 需 要 获得 一 些 特定 信息 ， 例 如 : 程序 中 语句 被 执行 (也 
就 是 被 覆盖 ) 的 情况 ， 程 序 运行 的 路 径 ， 变 量 的 定义 和 引用 情况 等 。 要 想 获得 这 些 信息 ， 就 需要 
在 被 测 程序 中 插入 完成 相应 工作 的 代码 ， 即 运用 代码 插 桩 技术 ， 如 今 大 多 数 的 覆盖 测试 工具 均 
采用 代码 插 桩 技术 。 

还 需要 注意 的 是 ， 代 码 插 桩 虽然 不 影响 程序 的 逻辑 结构 和 复杂 性 ， 但 是 会 破坏 程序 的 时 间 
特性 。 因 此 ， 在 用 程序 播 桩 辅助 完成 一 些 性 能 监视 测试 工作 时 ， 有 时 需要 考虑 插 桩 代码 对 程序 
运行 效率 的 影响 。 


轨 ] 远 辑 覆盖 测试 


逻辑 覆盖 测试 是 一 种 常用 的 动态 白 盒 测试 方法 ， 主 要 包括 语句 覆盖 、 判 定 覆 盖 、 条 件 覆 盖 、 
判定 -条 件 覆 盖 、 条 件 组 合 覆 盖 和 路 径 履 盖 。 录 辑 履 盖 是 基于 程序 的 内 部 逻辑 结构 进行 的 测试 ， 
要 求 在 设计 测试 用 例 时 ， 对 被 测 程序 的 逻辑 结构 有 清晰 的 了 解 。 

在 图 2-4 中 ， 左 边 是 源 程序 ， 右 边 是 程序 流程 图 。 流 程 图 中 的 字符 “a~e” 标 记 了 程序 逻辑 
结构 的 节点 ， 用 于 表示 程序 运行 经 过 的 路 径 。 我 们 将 这 个 程序 作为 被 测 程序 ， 讲 解 上 述 几 种 常 
见 的 逻辑 覆盖 技术 。 
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float js(float A, float B, float X) c 


if(A>1&&B—0) Bl = 


X=X/A; 

这 A 一 2|X>1D) Ee Y 一 
Xl A=2 或 X>1 二 XX 
retum X; 


} d 


返回 X 


结束 
图 2-4 ”逻辑 覆盖 测试 的 被 测 程序 及 其 流程 图 
在 逻辑 覆盖 测试 中 ， 决 定 程序 分 支 走向 的 整体 布尔 型 表达 式 被 称 为 判定 ， 取 值 为 True 或 
False。 判 定 不 考虑 其 内 部 是 否 包含 “与 ”“ 或 ”等 逻辑 操作 符 。 上 述 例 程 中 包含 两 个 判定 
e@ “A>1l 上 且 B=0”， 为 方便 表达 记 为 P1; 
e “A=2 或 X>1”， 记 为 P2。 
但 是 , 大 部 分 的 判定 表达 式 是 由 多 个 逻辑 条 件 组 合 而 成 的 。 虽然 上 述 例 程 中 只 有 3 个 变量 ， 


但 是 却 包含 4 个 条 件 表达 式 : 
。 “A>1”, 记 为 Cl; 
。 “B=0”, 记 为 C2; 
e。 “A=2”， 记 为 C3; 
日 “X>1”， 记 为 C4。 


2.4.1 语句 覆盖 
语句 覆盖 的 含义 是 指 ， 设 计 若干 个 测试 用 例 ， 使 被 测 程序 中 的 每 一 条 可 执行 语句 至 少 执行 


一 次 。 
需要 说 明 的 是 ， 为 了 尽 可 能 减少 设计 、 实 施 和 维护 测试 用 例 的 成 本 ， 逻 辑 覆 盖 测 试用 例 的 
数量 应 当 越 少 越 好 ， 只 要 能 够 满足 相应 的 覆盖 标准 即 可 。 关 于 被 测 程序 中 语句 的 个 数 统计 ， 图 
2-4 所 示 程 序 中 共有 3 条 可 执行 语句 , 分 别 以 分 号 结尾 “让 (A>l&&B 一 0)” 和 ”“iRA 一 2 X>1)” 
只 是 判定 条 件 而 不 是 语句 。 

对 于 图 2-4 中 的 被 测 程序 来 讲 ， 为 了 使 程序 中 的 每 条 语句 都 被 执行 一 次 ， 只 需要 选取 一 组 
测试 用 例 输入 数据 ， 使 得 程序 沿 着 路 径 “a-c-b-e-d” 运 行 即 可 。 例 如 ， 可 以 选取 (A=2，B=0， 
X=3) 作 为 输入 数据 ， 这 样 ，P1 和 P2 两 个 判定 的 值 都 为 Tme，3 条 语句 都 被 执行 。 这 样 的 测试 
用 例 即 可 达到 语句 覆盖 的 标准 。 当 然 ， 测 试用 例 不 是 唯一 的 ， 例 如 ，(A=2，B=0，X=2) 同 样 满 
足 要 求 。 

语句 覆盖 是 最 弱 的 逻辑 覆盖 标准 。 运 行 测试 用 例 (A=2，B=0，X=3)， 虽 然 能 够 执行 所 有 语 
句 ， 但 是 不 能 覆盖 所 有 的 判定 分 支 。 例 如 ， 判 定 P1 和 了 2 的 False 分 支 都 没有 被 覆盖 到 。 因 此 ， 
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语句 覆盖 只 针对 程序 中 显 式 存在 的 语句 ， 而 无 法 测试 隐藏 的 条 件 和 可 能 的 逻辑 分 支 。 例 如 ， 如 
果 判 定 P1 中 的 “&&” 被 错误 写成 “|”， 上 述 测试 用 例 仍 可 覆盖 所 有 语句 。 又 例如 ， 如 果 判 
定 P2 中 的 “X>1” 被 错误 写成 “X>0”， 上 述 测 试用 例 仍然 无 法 发 现 这 个 错误 。 


2.4.2 判定 覆盖 


判定 覆盖 又 称 为 分 支 覆 盖 ， 是 指 设计 若干 个 测试 用 例 ， 使 被 测 程序 中 每 个 判定 的 取 真 分 支 
和 取 假 分 支 至 少 被 执行 一 次 ， 即 每 个 判定 的 真 假 值 均 被 满足 。 

对 于 上 述 被 测 程序 ， 设 计 如 表 2-3 所 示 的 判定 覆盖 测试 用 例 ， 使 程序 执行 路 径 “a-c-b-e-d” 
和 “a-b-d”。 这 样 ， 判 定 Pl 和 了 2 的 真 假 分 支 就 都 能 被 执行 到 。 


表 2-3 ”判定 覆盖 测试 用 例 (一 ) 


或 者 ， 换 一 种 设计 思路 ， 设 计 如 表 2-4 所 示 的 测试 用 例 ， 使 程序 执行 路 径 “a-c-b-d” 和 
“a-b-e-d”。 这 样 ， 判 定 Pl1 和 P2 的 真 假 分 支 也 同样 都 能 被 执行 到 。 


表 2-4 判定 覆盖 测试 用 例 (二 ) 


需要 注意 的 是 ， 程 序 中 包含 两 种 类 型 的 判定 语句 。 一 种 是 双 值 判定 语句 ， 取 值 是 True 或 
False。 例 如 ，If-Then-Else、Do-While、Do-Until 等 。 另 一 种 是 多 值 判定 语句 ， 例 如 Case 语句 。 
因此 ， 判 定 覆 盖 更 一 般 的 含义 是 设计 测试 用 例 ， 使 每 一 个 分 支 获得 每 一 种 可 能 的 结果 。 

判定 覆盖 比 语 句 覆盖 具有 更 好 的 测试 充分 性 。 相 比 语句 覆盖 测试 用 例 ， 判 定 覆 盖 测 试用 例 
驱动 被 测 程序 执行 几乎 多 一 倍 的 测试 路 径 。 由 于 可 执行 语句 要 不 就 在 判定 的 真 分 支 上 ， 要 不 就 
在 判定 的 假 分 支 上 ; 因此 ， 只 要 满足 判定 覆盖 标准 的 测试 用 例 ， 就 一 定 满足 语句 覆盖 标准 ， 反 
之 则 不 然 。 

判定 覆盖 的 测试 充分 性 仍然 很 弱 ， 它 只 是 判断 整个 判定 表达 式 的 最 终 取 值 结果 ， 而 不 考虑 
表达 式 中 每 个 条 件 的 取 值 情 况 ， 因 此 必然 会 漏 检 一 些 条 件 错误 。 判 定 表达 式 往往 由 多 个 条 件 组 
合 而 成 ， 某 个 条 件 的 取 值 结果 可 能 会 掩盖 其 他 条 件 的 取 值 结果 情况 。 例 如 ，“ 或 ”关系 的 第 一 
个 条 件 为 真 则 不 再 判断 第 二 个 条 件 ，“ 与 ”关系 的 第 一 个 条 件 为 假 则 不 再 判断 第 二 个 条 件 。 在 
上 述 程序 中 ， 将 判定 P2 中 的 条 件 “X>1” 错 误 写 成 “X<1”， 使 用 表 2-3 所 示 的 测试 用 例 仍然 
能 够 达到 判定 覆盖 标准 ， 无 法 发 现 该 错误 。 


2.4.3 ”条 件 覆 盖 
条 件 覆 盖 是 指 ， 设 计 足 够 多 的 测试 用 例 ， 使 每 个 判定 中 每 个 条 件 的 真 假 取 值 都 至 少 被 满足 
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一 次 。 
上 述 程序 中 ，4 个 条 件 C1~C4 中 的 每 一 个 都 有 真 假 两 种 取 值 可 能 ， 分 别 为 

。 Cl 取 真 值 ( 即 A>1) 记 为 T1， 取 假 值 ( 即 A<]) 记 为 Fl; 

e。 C2 取 真 值 ( 即 B=0) 记 为 T2， 取 假 值 ( 即 B 关 0) 记 为 F2; 

e C3 取 真 值 ( 即 A=2) 记 为 T3， 取 假 值 ( 即 A 关 2) 记 为 F3; 

e@ C4 取 真 值 ( 即 X>1) 记 为 T4， 取 假 值 ( 即 X 入 TD) 记 为 F4。 

对 于 被 测 程序 ， 设 计 如 表 2-5 所 示 的 条 件 覆 盖 测 试用 例 ， 使 程序 中 的 每 个 条 件 都 满足 真 假 
两 种 取 值 情 况 。 


表 2-5 ”条件 覆盖 测试 用 例 (一 ) 


测试 用 例 | cclclolplep| 


A-2, B-0, XA4 
AL B-l, Xl [Im | lr lr lr Ts 


条 件 覆 盖 一 般 比 判定 覆盖 要 强 ， 因 为 它 更 为 细致 地 考虑 了 判定 表达 式 中 每 个 条 件 的 取 值 情 
况 。 但 需要 注意 的 是 ， 虽 然 表 2-5 所 示 的 测试 用 例 也 同时 满足 判定 覆盖 标准 ， 但 是 满足 条 件 覆 
盖 标 准 的 测试 用 例 并 不 能 总 是 保证 满足 判定 覆盖 标准 。 这 是 由 于 ， 条 件 覆 盖 只 考虑 每 个 条 件 都 
取得 真 假 两 种 值 ， 而 不 考虑 所 有 的 判定 结果 取 值 情况 。 例 如 ， 表 2-6 所 示 的 测试 用 例 满足 条 件 
覆盖 标准 ， 但 是 由 于 判定 P2 只 有 取 真 值 一 种 情况 ， 其 False 分 支 未 被 执行 ， 因 此 不 满足 判定 覆 
盖 标 准 。 

从 测试 充分 性 来 讲 ， 既 然 条 件 覆 盖 标 准 不 能 完全 包含 判定 覆盖 标准 ， 那 么 也 就 不 能 保证 达 
到 100% 的 语句 覆盖 标准 了 。 


表 2-6 条 件 覆 盖 测试 用 例 (二 ) 


[ct|lc|cs|c lr [P| 


[nin Da 


2.4.4 ”判定 -条 件 覆 盖 


由 判定 覆盖 和 条 件 覆 盖 可 知 ， 条 件 覆 盖 不 一 定 包 含 判定 覆盖 ， 反 之 亦 然 。 因 此 ， 需 要 一 种 
能 将 两 者 结合 起 来 的 逻辑 覆盖 标准 ， 这 就 是 判定 -条 件 覆 盖 ， 也 称 为 分 支 -条 件 覆 盖 或 条 件 判 定 
组 全 覆盖。 其 基本 思想 是 ， 设 计 足 够 多 的 测试 用 例 ， 使 被 测 程序 中 每 个 判定 的 每 个 条 件 的 可 能 
取 值 至 少 被 执行 一 次 ， 并 且 每 个 可 能 的 判定 结果 也 至 少 被 执行 一 次 。 

细心 的 读者 可 能 已 经 发 现 ， 表 2-5 所 示 的 测试 用 例 本 身 就 已 经 满足 判定 -条 件 覆 盖 标 准 ， 因 
为 条 件 C1~C4 和 判定 P1 与 P2 都 取得 真 值 和 假 值 两 种 情况 ， 在 这 里 不 再 给 出 其 他 判定 -条 件 覆 
盖 测 试用 例 。 

从 表面 看 ， 判 定 -条 件 覆 盖 测 试 所 有 判定 和 条 件 的 取 值 ， 但 事实 并 非 如 此 。 无 论 是 “与 ” 关 
系 逻 辑 表 达 式 还 是 “或 ”关系 逻辑 表达 式 ， 某 些 条 件 的 取 值 都 可 能 会 掩盖 另 一 些 条 件 的 取 值 情 
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况 ， 判 定 -条 件 覆 盖 测试 并 没有 覆盖 所 有 条 件 的 真 假 取 值 组 合 情 况 。 因 此 ， 判 定 -条 件 覆 盖 并 不 
一 定 能 够 查 出 逻辑 表达 式 中 的 所 有 错误 。 
从 测试 充分 性 来 讲 ， 满 足 判定 -条 件 覆 盖 就 一 定 能 够 满足 条 件 覆 盖 、 判 定 覆盖 和 语句 覆盖 。 


2.4.5 ”条 件 组 合 覆 盖 


条 件 组 合 覆 盖 是 指 ， 设 计 足 够 多 的 测试 用 例 ， 使 被 测 程序 中 每 个 判定 的 所 有 可 能 的 条 件 取 
值 组 合 至 少 被 执行 一 次 。 条 件 组 合 覆 盖 与 条 件 覆 盖 的 区 别 是 ， 不 仅 要求 每 个 条 件 都 能 有 真 假 两 
种 取 值 结 果 ， 而 且 要 求 这 些 结果 的 所 有 可 能 组 合 都 至 少 出 现 一 次 。 

表 2-7 给 出 了 上 述 被 测 程序 的 8 种 条 件 取 值 组 合 情 况 。 


表 2-7 条 件 取 值 组 合 情 况 


这 里 需要 注意 以 下 几 点 : 
e 条 件 取 值 组 合 只 针对 同一 个 判定 表达 式 内 存在 多 个 条 件 的 情况 ， 将 这 些 条件 的 取 值 进 
行 笛 卡 尔 乘积 组 合 ; 
e 不 同 判定 表达 式 内 的 条 件 取 值 之 问 无 须 组 合 ; 
e 对 于 单条 件 的 判定 表达 式 ， 只 需要 满足 自己 的 所 有 取 值 即 可 。 
根据 表 2-7 所 示 的 条 件 取 值 组 合 情 况 ， 可 以 设计 表 2-8 所 示 的 条 件 组 合 覆 盖 测 试用 例 。 从 
表 2-8 中 的 “覆盖 条 件 组 合 ”项 可 以 看 出 ，8 种 条 件 取 值 的 情况 都 被 覆盖 到 了 。 


表 2-8 “条件 组 合 覆 盖 测 试用 例 


| ce es | | Mm ee 执行 路 径 
a2 Box4 [nln ls abs |r [|r |acvea 
AZBLXL | 了 | 已 |3 Ba |r |r |abed 
Avomx [rm lp [ns [|m | [sr |r [ove 
ALBLXL |m |m | [rm [ss |r |r |av 


条 件 组 合 覆 盖 是 一 种 很 强 的 覆盖 标准 , 能 够 有 效 地 测试 各 种 条 件 取 值 组 合 是 否 正确 。 同 时 ， 
从 表 2-8 中 的 “P1” 和 “了 P2” 项 也 可 以 看 出 ， 条 件 组 合 覆 盖 还 可 以 覆盖 所 有 判定 的 真 假 分 支 。 
也 就 是 说 ， 条 件 组 合 覆 盖 标 准 能 够 完全 包容 判定 -条 件 覆 盖 标 准 。 

但 是 ， 条 件 组 合 覆 盖 也 线性 增加 了 测试 用 例 的 数量 ， 提 高 了 测试 用 例 设 计 、 实 施 和 维护 的 
成 本 。 即 便 如 此 ， 条 件 组 合 覆 盖 仍 然 可 能 漏 测 部 分 程序 可 执行 路 径 ， 测 试 还 不 够 充分 。 例 如 ， 
被 测 程序 中 有 4 条 可 执行 路 径 ， 分 别 如 下 。 

ee 路径 1: a-c-b-e-d。 

e 路径 2: a-b-d。 

e@ 路 径 3: a-c-b-d。 
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@ 路 径 4: a-b-e-d。 
表 2-8 所 示 的 测试 用 例 中 只 有 3 条 执行 路 径 ， 路 径 “a-b-e-d” 是 重复 的 ， 漏 测 了 可 执行 路 
径 “a-c-b-d”。 
2.4.6 路径 履 盖 
路 径 覆 盖 就 是 设计 足够 多 的 测试 用 例 ， 使 被 测 程序 的 每 条 可 执行 路 径 都 至 少 执行 一 次 。 被 
测 程序 中 有 4 条 可 执行 路 径 ， 因 此 表 2-9 所 示 的 路 径 覆盖 测试 用 例 由 4 个 测试 用 例 构 成 。 
表 2-9 ”路径 覆盖 测试 用 例 


测试 用 例 | cl|cz|c|ocolplepz| 执行 路 径 


A=2, B=0, X=3 ac-b-ed 
A=l, B=1, X-l abd 
A=3，B=0，X=3 [ms |r | |F |acva 


| mi Na 
abed 


路 径 覆 盖 是 经 常 使 用 的 覆盖 测试 方法 ， 相 比 于 其 他 逻辑 覆盖 方法 ， 测 试 覆盖 率 最 大 。 但 是 
路 径 覆 盖 并 不 一 定 能 保证 条 件 组 合 覆 盖 ， 例 如 上 面 的 测试 用 例 中 ，“F1，T2” 和 “F3，T4” 两 
种 条 件 取 值 组 合 情 况 就 未 能 覆盖 到 。 另 外 ， 路 径 覆 盖 也 不 一 定 能 保证 条 件 覆 盖 。 举 一 个 简单 的 
例子 ， 假 设 被 测 程序 仅 含有 一 个 判定 表达 式 P: (C1 or C2 )， 因 此 程序 中 有 两 条 可 执行 路 径 ， 可 
以 通过 两 个 条 件 取 值 分 别 为 (T1，F2) 和 (F1，F2) 的 测试 用 例 驱 动 被 测 程序 分 别 沿 着 判定 P 的 真 
假 分 支 执行 ， 满足 路 径 覆 盖 标准 。 但 是 因为 条 件 C2 没有 取 真 值 T2 的 情况 ， 所 以 不 满足 条 件 覆 
盖 标 准 ， 进 而 也 就 不 满足 判定 -条 件 覆 盖 标 准 。 由 于 路 径 覆 盖 必 然 经 历 所 有 判定 的 各 个 分 支 ， 因 
此 路 径 覆 盖 能 够 完全 包容 判定 覆盖 和 语句 覆盖 。 

另外 需要 注意 的 是 ， 随 着 代码 复杂 度 的 增加 ， 程 序 可 执行 路 径 的 数量 可 能 呈 指 数 级 增长 。 
例如 包含 10 条 站 语句 的 程序 , 可 执行 路 径 可 达到 20=1024 条 。 如 果 被 测 程序 中 包含 循环 结构 ， 
随 着 循环 嵌 套 层次 和 循环 次 数 的 增加 ， 程 序 可 执行 路 径 数 可 能 达到 天 文 数字 。 这 种 情况 下 ， 一 
般 通 过 ZZ 路 径 覆 盖 方 法 进行 测试 。 

通过 以 上 6 种 逻辑 覆盖 测试 方法 的 讲解 我 们 会 发 现 ， 没 有 十 全 十 美的 覆盖 测试 方法 ， 每 一 
种 方法 都 有 优点 和 局 限 性 。 因 此 ， 在 实际 的 测试 用 例 设计 过 程 中 ， 需 要 根据 实际 情况 将 几 种 罗 
辑 履 盖 测试 方法 配合 使 用 ， 以 达到 最 高 的 覆盖 率 。 实 际 工作 中 ， 语 句 履 盖 、 判 定 覆 盖 和 路 径 覆 
盖 使 用 最 多 ， 一 般 有 如 下 要 求 。 

e 语句 覆盖 率 : 100%。 

e 判定 覆盖 率 : 85% 以 上 。 

e 路 径 覆 盖 率 : 80% 以 上 。 

基于 对 上 述 6 种 逻辑 覆盖 方法 的 测试 充分 性 的 分 析 ， 可 以 将 它们 之 间 的 强 弱 关 系 用 图 2-5 
表示 。 


A=2，B=1，X=1 
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2-5 6 种 逻辑 覆盖 测试 的 强 弱 关系 


2.4.7 Z 路径 覆盖 


乙 路 径 覆 盖 是 一 种 简化 循环 意义 下 的 路 径 覆 盖 测 试 方法 。 

普通 的 路 径 覆 盖 是 要 设计 若干 测试 用 例 ， 用 来 覆盖 程序 中 所 有 可 能 的 执行 路 径 。 当 程序 比 
较 小 ， 只 有 为 数 不 多 的 选择 结构 时 ， 实 现 路 径 覆 盖 是 可 以 做 到 的 。 但 是 ， 当 程序 中 含有 多 个 循 
环 或 循环 次 数 很 多 时 ， 可 能 的 执行 路 径 数量 将 以 指数 级 增长 ， 往 往 达到 天 文 数字 (参考 图 2-1 所 
示 的 穷 举 路 径 测试 示例 )， 想 要 实现 完全 的 路 径 覆 盖 是 不 可 能 的 。 

为 了 解决 这 一 问题 , Z 路 径 覆 盖 舍 掉 了 路 径 覆 盖 的 一 些 次 要 因素 ,对 循环 机 制 进行 了 简化 。 
通过 限制 循环 的 次 数 ， 最 大 化 地 减少 路 径 的 数量 ， 使 得 覆盖 这 些 有 限 的 路 径 成 为 可 能 。 无 论 循 
环 的 形式 和 循环 体 实际 执行 的 次 数 如 何 ， 在 乙 路 径 覆 盖 测 试 中 ， 只 考虑 执行 循环 体 一 次 和 零 次 
两 种 情况 ， 即 只 考虑 执行 时 进入 循环 体 一 次 和 跳 过 循环 体 这 两 种 情况 。 


(a (b) (0 


图 2-6 将 循环 结构 简化 成 选择 结构 


2-6(a) 和 图 2-6(b) 是 两 种 典型 的 循环 结构 。 前 者 先 做 判断 , 循环 体 只 考虑 执行 一 次 或 不 执 
行 ， 效 果 与 图 2-6(e) 是 一 样 的 。 后 者 先 执行 循环 体 ， 也 只 考虑 执行 一 次 ， 然 后 再 经 判断 转 出 ， 
效果 与 图 2-6(c) 中 只 执行 选择 结构 的 右 分 支 一 样 。 经 过 乙 路 径 覆 盖 方 法 对 循环 结构 进行 简化 后 ， 
程序 中 只 存在 顺序 结构 和 分 支 结构 ， 其 所 包含 的 路 径 数 一 般 是 有 限 的 ， 因 此 可 以 做 到 对 这 些 路 
径 的 覆盖 。 
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2.4.8 计算 路 径 履 盖 最 少 的 测试 用 例 数 


由 于 路 径 覆 盖 是 常用 测试 方法 ， 因 此 对 于 一 个 较为 复杂 的 被 测 程序 来 讲 ， 我 们 希望 能 够 快 
速 计算 出 其 可 执行 路 径 的 数量 ， 确 定 路 径 覆盖 最 少 的 测试 用 例 数 ， 然 后 基于 此 数量 设计 足够 多 
的 测试 用 例 ， 使 被 测 程序 的 每 条 可 执行 路 径 都 至 少 执行 一 次 。 在 这 里 ， 提 供 一 种 计算 路 径 覆 盖 
最 少 的 测试 用 例 数 的 方法 ， 通 过 程序 盒 图 (也 称 为 N-S 图 ) 对 该 方法 进行 说 明 。 

图 2-7 中 包含 3 种 基本 逻辑 结构 : 顺序 、 选 择 和 循环 结构 。 顺 序 结构 无 论语 句 多 少 ， 只 有 
一 条 可 执行 路 径 ， 芷 Then-Else 型 选择 结构 包含 两 条 可 执行 路 径 ， 多 分 支 Case 型 选择 结构 的 可 
执行 路 径 数量 由 分 支 数 量 决定 。 


全 全 pa se Ey 
Cv 
| 

Al | A2 


An 
(a) 顺序 结构 (b) 选择 结构 (0) 多 分 支 选择 结构 
Do-While P 
一 
(d) 当 型 循环 结构 (e) 直到 型 循环 结构 


2-7 由 盒 图 表示 的 程序 的 基本 逻辑 结构 


对 于 循环 结构 来 讲 ， 在 乙 路 径 覆 盖 中 已 经 讲 过 ， 为 了 避免 测试 超大 数量 的 循环 路 径 ， 在 路 
径 覆 盖 测 试 时 一 般 将 循环 结构 转变 和 蔡 换 为 选择 结构 ， 只 考虑 直接 跳 过 循环 体 和 执行 一 次 循环 
体 这 两 种 情况 ， 并 不 测试 重复 执行 循环 体 的 路 径 。 因 此 ， 我 们 只 需要 弄 清楚 (包含 选择 结构 的 ) 
程序 的 可 执行 路 径 数量 的 计算 方法 即 可 。 

我 们 先 来 观察 一 个 简单 的 串 行 选 择 结构 ， 其 盒 图 如 图 2-8 所 示 。 


图 2-8 串 行 选择 结构 


在 这 个 例子 中 , 可 以 很 容易 地 看 出 , 程序 包含 4 条 可 执行 路 径 , 分 别 经 过 语句 ( 块 )AC、AD、 
BC 和 BD。 因 此 ， 最 少 的 路 径 覆 盖 测 试用 例 数 为 4。 实 际 上 ， 这 样 的 计算 结果 是 根据 “ 串 行 分 
层 相 乘 ”的 方法 计算 出 来 的 。 图 2-8 所 示 的 程序 盒 图 可 以 分 为 上 下 两 层 ， 上 层 的 P1 选择 结构 包 
含 2 条 路 径 ， 下 层 的 P2 选择 结构 地 包含 2 条 路 径 ， 将 它们 相 乘 就 得 到 计算 结果 4。 对 于 盒 图 选 
择 结构 中 并 行 的 语句 ( 块 )) 如 A 和 B、C 和 D， 将 它们 的 数量 相 加 就 可 以 得 到 该 并 行 层次 的 路 
径 数 。 


La6 
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应 用 上 述 计算 原理 ， 可 以 快速 计算 出 更 为 复杂 的 程序 的 可 执行 路 径 数 。 

图 2-9 所 示 的 程序 盒 图 中 包含 两 组 串 行 的 选择 结构 : Pl 与 P8，P2 与 P6， 分 别 用 分 层 线 1 
和 2 标识 。P8 包含 的 嵌 套 选择 结构 的 路 径 数 为 3， 将 它 与 Pl 包含 的 路 径 数 相 乘 即 可 得 到 最 终 
路 径 数 。P2 包含 的 嵌 套 选择 结构 的 路 径 数 为 5，P6 包含 的 嵌 套 选择 结构 的 路 径 数 为 3， 将 二 者 
相 乘 后 得 到 Pl 的 右 分 支 路 径 数 为 SX3=15。P1 的 左 分 支 是 一 条 简单 路 径 ， 结 合 右 分 支 计 算 结 
果 可 知 ，P1 包含 的 嵌 套 选择 结构 的 路 径 数 为 15+1=16。 因 此 ， 结 合 P8 路 径 数 计算 结果 可 知 ， 
该 程序 的 可 执行 路 径 总 数 为 16X3=48。 也 就 是 说 ， 最 少 需要 48 个 测试 用 例 才 能 保证 完成 该 程 
序 的 路 径 覆 盖 测 试 。 


项 
路 径 数 16 人 < 
路 径 数 5 
分 层 线 2 
Lo 
> < 
六 分 层 线 1 
路 径 数 3< 
Wl 


图 2-9 包含 复杂 结构 的 程序 盒 图 


村 循环 结构 测试 


前 面 讲解 了 几 种 主要 的 逻辑 覆盖 测试 方法 ,这些 方法 主要 是 针对 程序 选择 结构 的 测试 方法 。 
当 碰 到 循环 结构 时 ， 都 进行 了 大 幅度 简化 ， 将 循环 结构 转换 为 选择 结构 进行 测试 。 但 是 ， 当 程 
序 中 包含 比较 复杂 的 循环 结构 或 者 循环 结构 中 的 程序 计算 很 容易 出 错时 ， 就 需要 对 其 进行 更 为 
全 面 和 深入 的 测试 。 

循环 结构 一 般 有 如 图 2-10 所 示 的 4 种 形式 : 简单 循环 、 和 骨 套 循环 、 串 接 循 环 和 不 规则 循环 。 
其 中 ， 不 规则 循环 无 法 进行 测试 ， 需 要 对 循环 结构 进行 重新 设计 ， 使 之 成 为 结构 化 的 程序 后 再 
进行 测试 。 下 面 对 简单 循环 、 翌 套 循环 和 串 接 循环 的 测试 方法 进行 说 明 。 

1) 简单 循环 

对 简单 循环 进行 测试 时 ， 需 要 考虑 循环 的 次 数 以 及 循环 边界 值 和 接近 边界 值 的 情况 。 假 定 
循环 的 最 大 次 数 为 n， 一 般 需要 设计 如 下 几 种 测试 用 例 。 

e 零 次 循环 ， 从 循环 入 口 直 接 跳 到 循环 出 口 。 

@ 一 次 循环 ， 只 有 一 次 通过 循环 ， 用 于 查找 可 能 的 循环 初始 值 错误 。 

e 两 次 循环 ， 两 次 通过 循环 。 


软件 测试 靶 术 


广 -| 
< 广 -一 > y 
不 pa v 
Y 
YY 
一 一 一 


(a) 简单 循环 ( 当 型 循环 ) 诗 Y 
| 一 : 
本 
至 
二 Yn 
N N 
Y 加 
时 v 了 了 

(b) 简单 循环 (直到 型 循环 ) (c) 嵌 套 循环 (d) 串 接 循环 (e) 不 规则 循环 


2-10 4 种 典型 的 循环 结构 


m 次 循环 : m 次 通过 循环 ， 其 中 m<n， 也 就 是 在 n 次 循环 中 找 一 个 中 间 值 ， 用 于 查找 
在 多 次 循环 时 才 可 能 暴露 的 错误 。 
e Dn-1 次 循环 : 比 最 大 循环 次 数 少 一 次 通过 循环 。 
e 次 循环 : 用 最 大 循环 次 数 执行 循环 。 
e n+l 次 循环 : 比 最 大 循环 次 数 多 一 次 通过 循环 。 
测试 中 ， 我 们 还 需要 关注 以 下 几 个 问题 : 
e 循环 变量 的 初 值 是 否 正确 。 
e 循环 变量 的 最 大 值 是 否 正确 。 
e 循环 变量 的 增 量 是否 正 确 。 
e 何 时 退出 循环 。 
下 面 是 一 个 简单 循环 ， 其 测试 用 例如 表 2-10 所 示 。 
int Sample Loop() 
: int =1; 
int Sum=0: 
while (i<=10) 
: Sum=Sum+i': 
iitl; 
} 


return Sum:; 


} 


表 2-10 ”上述 简单 循环 的 测试 用 例 


测试 内 容 测试 用 例 备注 
整个 跳 过 循环 和 0 次 通过 循环 


只 有 一 次 通过 循环 =10 


| 48 
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( 续 表 ) 
测试 内 容 祝福 

两 次 通过 循环 

茵 次 通过 循环 ， 其 中 m<10 6 次 通过 循环 

n -1 次 通过 循环 9 次 通过 循环 

n 次 通过 循环 10 次 通过 循环 

nt1 次 通过 循环 11 次 通过 循环 

2) 巾 套 循环 


如 果 将 简单 循环 的 测试 方法 用 于 测试 嵌 套 循环 ， 随 着 嵌 套 层 数 的 增加 ， 测 试用 例 数 就 会 呈 
指数 级 增长 。 针 对 这 个 问题 ， 一 般 采 用 如 下 嵌 套 循环 测试 方法 : 
e 从 最 内 层 循环 开始 ， 将 所 有 其 他 层 的 循环 设置 为 最 小 值 。 
e 对 最 内 层 循环 使 用 简单 循环 测试 。 测 试 时 ， 保 持 所 有 外 层 循环 的 循环 变量 为 最 小 值 。 
另外 ， 对 越界 值 和 非法 值 增加 其 他 测试 。 
e 由 内 向 外 逐 层 外 推 ， 对 其 外 面 的 一 层 循环 进行 测试 。 测 试 时 ， 其 他 的 外 层 循 环 变量 取 
最 小 值 ， 所 有 其 他 嵌 套 内 循环 的 循环 变量 取 “ 典 型 ” 值 。 
e@ 反复 进行 ， 直 到 所 有 各 层 循环 测试 完毕 。 
e 对 全 部 各 层 循环 ， 同 时 取 最 小 循环 次 数 和 最 大 循环 次 数 进行 测试 。 
3) 串 接 循环 
串 接 循环 也 称 为 并 列 循环 ， 其 测试 分 为 两 种 情况 。 如 果 串 接 循环 是 相互 独立 的 ， 则 可 以 简 
化 为 两 个 单独 循环 来 分 别处 理 。 但 是 ， 如 果 两 个 循环 串 接 起 来 ， 第 一 个 循环 的 循环 计数 是 第 二 
个 循环 的 初始 值 ， 那 么 这 两 个 循环 不 是 相互 独立 的 。 这 种 情况 下 ， 需 要 使 用 嵌 套 循环 的 测试 方 
法 进行 处 理 。 


基本 路 径 测试 


在 白 盒 测 试 中 ， 基 本 路 径 测 试 是 应 用 非常 广泛 的 一 种 测试 方法 。 基 本 路 径 测试 是 在 程序 控 
制 流 图 的 基础 上 ， 通 过 分 析 控 制 结构 的 环 路 复杂 性 ， 导 出 基本 可 执行 路 径 的 集合 ， 从 而 设计 测 
试用 例 的 方法 。 设 计 出 的 测试 用 例 需 要 保证 被 测 程序 的 每 一 条 可 执行 语句 至 少 被 执行 一 次 。 

基本 路 径 测试 包含 如 下 4 个 基本 步 又: 

(1) 以 详细 设计 或 源 代码 为 基础 ， 绘 制程 序 控制 流 图 ; 

(2) 根据 程序 控制 流 图 ， 计 算 程序 环 路 复杂 度 ; 

(3) 确定 独立 路 径 的 集合 ; 

(4) 生成 测试 用 例 。 

下 面 我 们 对 以 上 4 个 步骤 的 内 容 分 别 予 以 介绍 。 


2.6.1 ”程序 控制 流 图 与 环 路 复杂 度 
程序 控制 流 图 简称 流 图 ， 本 质 上 是 一 种 “退化 ”的 程序 流程 图 ， 用 于 突出 表示 程序 的 控制 
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结构 。 流 图 只 呈现 程序 的 控制 流程 , 完全 不 表现 具体 的 语句 以 及 选择 或 循环 的 具体 条 件 。 图 2-11 
给 出 了 几 种 典型 的 程序 控制 结构 的 控制 流 图 形式 。 


本 


当 型 循环 结构 


-0O-o-o- 


顺序 结构 选择 结构 直到 型 循环 结构 多 分 支 选择 结构 
图 2-11 程序 控制 流 图 的 基本 形式 


控制 流 图 是 一 种 有 向 图 ， 由 节点 和 边 构成 ， 含 义 分 别 如 下 。 


理 框 序列 和 菱形 判定 框 ， 可 以 映射 成 流 图 中 的 节点 。 
(2) 边 : 用 箭头 线 表示 。 边 代表 控制 流 ， 一 条 边 必须 终止 于 一 个 节点 ， 即 使 这 个 节点 并 不 
代表 任何 语句 。 
当 我 们 将 常见 的 程序 流程 图 转换 为 控制 流 图 时 ， 需 要 注意 以 下 两 点 : 
。 在 选择 或 多 分 支 结构 中 ， 分 支 的 汇聚 处 应 当 添 加 一 个 汇聚 节点 ， 即 使 在 该 处 并 没有 实 
际 的 可 执行 语句 也 应 如 此 ， 这 样 可 以 使 控制 结构 表现 得 更 为 完整 和 清晰 。 
e 由 边 和 节点 围 成 的 面积 称 为 区 域 。 当 计算 区 域 总 数 时 ， 图 形 外 未 围 起 来 的 那 部 分 也 要 
记 为 区 域 。 
图 2-12(a) 所 示 的 程序 流程 图 ， 可 以 转换 为 图 2-12(b) 所 示 的 控制 流 图 。 


(a) 程序 流程 图 也) 控制 流 图 
图 2-12 将 程序 流程 图 转换 为 控制 流 图 
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根据 程序 控制 流 图 ， 可 以 定量 度量 程序 的 复杂 程度 ， 度 量 结果 称 为 程序 的 环 路 复杂 度 、 环 
形 复杂 度 或 圈 复 杂 度 。 流 图 一 般 标记 为 G， 环 路 复杂 度 标记 为 V(G)。 一 般 来 讲 ， 模 块 的 环 路 复 
杂 度 V(G) 乏 10。 

计算 环 路 复杂 度 有 以 下 3 种 方法 : 

(1) 控制 流 图 中 的 区 域 数 等 于 环 路 复杂 度 。 

C) V(G)=E -N+2， 其 中 ，E 是 控制 流 图 中 边 的 数量 ，N 是 节点 的 数量 。 

(G3) V(G)=P+1， 其 中 ，P 是 控制 流 图 中 判定 节点 的 数量 。 

例如 ， 通 过 上 述 方法 计算 图 2-12(b) 所 示 程 序 的 环 路 复杂 度 : 

e@ 有 了 RI-~R4 共 4 个 区 域 ， 环 路 复杂 度 为 4。 

® EFE=ll, N=9, V(G)=1]1 - 9+2=4。 

e 控制 流 图 中 “出 度 ” 大 于 1 的 节点 为 判定 节点 ， 也 就 是 说 ， 起 始 于 判定 节点 ， 以 之 作 

为 箭头 线 尾 端的 边 的 数量 一 定 大 于 1。 因 此 ， 节 点 1、(2,3) 和 6 是 判定 节点 ，P=3， 
V(G)=3+1=4。 

使 用 以 上 3 种 计算 方法 得 到 的 环 路 复杂 度 一 定 是 相同 的 ， 它 们 之 间 可 以 相互 验证 。 

在 图 2-12(a) 中 ， 我 们 实际 上 假设 所 有 菱形 框 表 示 的 判定 内 没有 复合 条 件 。 但 是 ， 需 要 特别 
注意 的 是 ， 如 果 判 定 包含 复合 条 件 ， 那 么 在 生成 控制 流 图 时 ， 应 当 把 复合 条 件 分 解 为 若干 简单 
条 件 ， 每 个 简单 条 件 对 应 流 图 中 的 一 个 节点 。 图 2-13(a) 和 (b) 分 别 展示 了 “与 ”逻辑 和 “或 ” 迎 
辑 下 控制 流 图 的 生成 方法 。 


Ifaandb Then x Elsey Ifaorb Then x Elsey 


| 


人 “与 ”多 辑 下 的 控制 流 图 人 “或 ”逻辑 下 的 控制 流 
图 2-13 复合 条 件 下 的 控制 流 图 


2.6.2 ”独立 路 径 集合 


独立 路 径 也 称 为 基本 路 径 ， 其 含义 包含 以 下 两 点 : 
(1) 独立 路 径 是 一 条 从 起 始 节 点 到 终止 节点 的 路 径 。 
(2) 一 条 独立 路 径 至 少 包 含 一 条 其 他 独立 路 径 没 有 包含 的 边 ， 也 就 是 说 ， 至 少 引入 了 一 条 
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新 的 执行 语句 。 
图 2-14 所 示 程 序 控制 流 图 的 环 路 复杂 度 为 : 
e V(G)= 图 中 区 域 数 -5。 
® V(G=E-N+2=10-7+2=5。 
® V(G)=P+l=4+1=5。 


"0 


图 2-14 ea 


程序 的 环 路 复杂 度 计算 结果 给 出 了 程序 独立 路 径 集合 中 的 独立 路 径 条 数 ， 这 是 保证 程序 中 
每 条 可 执行 语句 至 少 被 执行 一 次 所 必需 的 测试 用 例 数量 的 上 限 ， 也 就 是 说 , 我 们 只 要 最 多 V(G) 
个 测试 用 例 就 可 以 满足 基本 路 径 覆盖 要 求 。 

针对 图 2-14， 我 们 可 以 找 出 如 下 5 条 独立 路 径 ， 构 成 独立 路 径 集合 : 

® Pathl: a-b-c-g。 

® Path2: a-b-c-b-c-g。 

® Path3: a-b-e-f-g。 

® Path4: a-d-e-f-g。 

® Paths: a-d-f-g。 

如 果 能 再 找 出 一 条 路 径 Path6=a-b-c-b-e-f-g, 我 们 就 会 发 现 , 在 原 有 5 条 独立 路 径 的 基础 上 ， 
Path6 并 没有 引入 任何 新 的 边 。 所 以 ， Path6 不 再 是 一 条 新 的 独立 路 径 。 同 时 ， 我们 也 会 认识 到 ， 
一 个 程序 的 独立 路 径 集合 通常 并 不 是 唯一 的 ， 例 如 ， 将 Path2 蔡 换 为 Path6 也 可 以 构成 一 个 新 
的 独立 路 和 人 另外 需要 注意 的 是 ， 独 立 路 径 集合 中 的 每 一 条 路 径 都 以 起 始 节点 “a” 开 始 ， 
以 终止 节点 结束 。 

i 就 可 以 根据 每 一 条 独立 路 径 设 计 相应 的 输入 数据 ， 形 成 测试 用 例 ， 
保证 每 一 条 独立 路 径 都 可 以 被 测试 到 。 


2.6.3 ”基本 路 径 测试 用 例 


首先 ， 让 我 们 来 看 一 个 判定 中 不 含 复合 条 件 的 被 测 程序 。 


错误 !1 int Test(int count int flag) 
21{ 
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6 (lags—0) 
Zt 

8 temp=count+100: 

9 break: 

10 } 

到 else 

12 { 

13 让 (flags 一 1) 

14 temp=temp+10; 
15 else 

16 temp=temp+20; 
17 } 

18 count=count-1 

19 >: 

20 return temp: 

7 | 


在 上 述 程序 中 ， 当 flag=0 时 ， 返 回 count+100; 当 flag=1 时 ， 返 回 count*10; 当 flag 是 其 
他 值 时 ， 返 回 count*20。 下 面 按照 基本 路 径 测试 的 4 个 步 又 进行 说 明 。 

1) 画 出 上 述 程序 的 控制 流 图 

在 初期 还 不 能 熟练 绘制 程序 控制 流 图 时 ， 可 以 先 绘制 出 如 图 2-15(a) 所 示 的 程序 流程 图 ， 再 
将 其 转换 为 如 图 2-15(b) 所 示 的 程序 控制 流 图 。 熟 练 后 ， 再 直接 绘制 程序 控制 流 图 。 


¢ | 


结束 
(a) 程序 流程 图 (b) 控制 流 图 
图 2-15 程序 流程 图 和 控制 流 图 
图 2-15 中 的 数字 是 源 程序 中 的 行 号 ，4、6、13 是 判定 节点 。 语 句 3 和 4 顺序 执行 ， 合 并 


为 节点 4; 语句 8 和 9 顺序 执行 ， 合 并 为 节点 8。 
2) 计算 程序 的 环 路 复杂 度 
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由 图 2-15(b) 所 示 的 程序 控制 流 图 可 以 计算 得 出 : 

e V(G)= 图 中 区 域 数 =4。 

® V(G)=E-N+2=10- 8+2=4。 

® V(G)=P+1=3+1=4。 

程序 的 环 路 复杂 度 是 4。 因 此， 只 要 最 多 4 个 测试 用 例 就 可 以 达到 基本 路 径 覆 盖 。 

3) 确定 独立 路 径 集合 

在 程序 控制 流 图 中 ， 从 起 始 节点 4 到 终止 节点 20 共有 4 条 独立 路 径 : 

@ 4-20 

® 4-6-8-20 

® 4-6-13-14-18-4-20 

® 4-6-13-16-18-4-20 

由 上 面 4 条 独立 路 径 构 成 的 集合 已 经 包括 流 图 中 所 有 的 边 。 

4) 设计 测试 用 例 

根据 上 面 得 到 的 4 条 独立 路 径 可 以 设计 如 表 2-11 所 示 的 4 个 测试 用 例 。 
表 2-11 基本 路 径 测试 用 例 


count=1,，flag=1 | temp=10 | 46-13-14-18-4.20 
count=1，flag-2 4-6-13-16-18-4-20 


细心 的 读者 会 发 现 ， 独 立 路 径 3 和 4 实际 上 已 经 完全 包容 独立 路 径 1。 所 以 ， 上 述 测试 用 
例 可 以 简化 为 3 项 ， 独 立 路 径 1 的 测试 用 例 可 以 去 除 。 这 种 情况 说 明 ， 程 序 的 环 路 复杂 度 表示 
的 是 最 大 测试 用 例 个 数 ， 是 测试 用 例 数量 的 上 界 ， 实 际 的 测试 用 例 数 不 一 定 要 达到 这 个 上 界 。 
不 过 还 要 说 明 的 是 ， 测 试用 例 数量 越 简化 ， 测 试 的 充分 性 就 越 低 。 例 如 ， 去 掉 独 立 路 径 1 的 测 
试用 例 后 ， 直 接 跳 过 循环 的 情况 就 无 法 测试 到 。 因 此 ， 需 要 根据 实际 情况 来 确定 测试 用 例 数量 
的 简化 程度 。 

接 下 来 ， 让 我 们 再 看 一 个 包含 复合 条 件 的 被 测 程序 的 基本 路 径 测 试用 例 的 设计 过 程 。 

图 2-16 是 计算 学 生平 均 成 绩 的 程序 流程 图 。 该 程序 最 多 可 以 计算 50 个 学 生 的 平均 成 绩 ， 
以 - 1 作为 成 绩 输入 结束 标志 。 程 序 流程 图 中 ，i 是 学 生 序号 ，nl 是 有 效 成 绩 数量 ，n2 是 输入 
的 成 绩 数量 ，sum 是 成 绩 累加 值 ，ScoreG) 是 第 i 个 学 生 的 成 绩 ，Average 是 平均 成 绩 。 

(1) 画 出 程序 的 控制 流 图 。 根据 图 2-16 所 示 的 程序 流程 图 可 以 绘制 出 如 图 2-17 所 示 的 程序 
流 图 ， 这 一 步骤 是 难点 ， 关 键 在 于 将 程序 流程 图 中 包含 复合 条 件 的 两 个 判定 分 解 映射 为 控制 流 
图 中 相应 的 节点 。 

(2) 计算 环 路 复杂 度 ， 如 下 所 示 : 

eV(G)= 图 中 区 域 数 =6。 

® V(G=E-N+2=16- 1212-6。 

® V(G)P+1=5+1=6。 


Ls _ 
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=1, n1=n2=0, sum=0 


n2=n2+1 


Score(i)>=0 and 
Score()<=100 


2-17 程序 的 控制 流 图 


(3) 确定 独立 路 径 集合 。 可 以 确定 以 下 6 条 独立 路 径 : 
e 1-2-9-10-12 

e 1-2-9-11-12 

e 1-2-3-9-10-12 
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e 1-2-3-4-5-8-2... 

® 1-2-3-4-5-6-8-2... 

® 1-2-3-4-5-6-7-8-2... 

(4) 设计 测试 用 例 。 为 每 一 条 独立 路 径 设 计 一 个 测试 用 例 ， 驱 动 被 测 程序 沿 着 该 路 径 至 少 
执行 一 次 。 可 以 设计 如 表 2-12 所 示 的 6 个 测试 用 例 。 


表 2-12 基本 路 径 测 试用 例 


输入 数据 预期 结果 


Score(1)=60，Score(2)=1 n1=1, sum-=60,Average-60 | 1-2-9-10-12 
Score(1)=-1 Average 一 1， 其 他 变量 为 初 值 | 1-2-9-11-12 
输入 多 于 50 个 有 效 分 数 n1=50， 正 确 的 sum 和 Average 值 | 1239-10.12 
Score(1)=-5, Score(2)=70, Score(3)=-1 | nl=1，sum=70，Average=-70 1-2-3-4-5-8-2... 


nl=1, sum=80, Average=80 
n1=2, sum=170,，Average=85 


Score(1)=110, Score(2)=80, Score(3)=-1 
Score(1)=80, Score(2)=90, Score(3)=-1 


1-2-3-4-5-6-8-2. . . 
1-2-3-4-5-6-7-8-2. . . 


2.6.4 ”控制 流 图 矩阵 


控制 流 图 矩阵 是 将 程序 控制 流 图 表达 为 矩阵 的 方式 。 利 用 控制 流 图 矩阵 ， 可 以 构造 辅助 完 
成 路 径 测试 的 工具 ， 自 动 地 确定 独立 路 径 集合 ， 评 估 程 序 的 控制 结构 。 

控制 流 图 矩阵 实际 上 是 有 向 图 的 图 形 矩 阵 ， 由 行列 数 相同 的 方 阵 构成 ， 行 列 数 即 为 控制 流 
图 中 的 节点 数 ， 每 行 和 每 列 依次 对 应 一 个 节点 ， 和 矩阵 元 素 反映 的 是 节点 间 的 连接 关系 。 如 果 节 
点 i 到 节点 j 之 间 有 一 条 边 ， 那 么 矩阵 第 i 行 第 j 列 的 元 素 非 空 。 和 矩阵 元 素 标 记 为 权 值 1， 表 示 
存在 连接 标记 为 空 或 权 值 0， 则 表示 不 存在 连接 。 

例如 ， 可 以 将 图 2-15(b) 所 示 的 控制 流 图 表达 为 如 图 2-18 所 示 的 控制 流 图 矩阵 。 从 图 2-18 
中 可 以 看 出 ， 凡 是 一 行 中 有 大 于 或 等 于 两 个 元 素 的 节点 就 一 定 是 判定 节点 。 通 过 这 一 特点 ， 可 
以 方便 地 确定 判定 节点 的 数量 ， 然 后 计算 环 路 复杂 度 。 

4 6 8 1314 16 18 20 


图 2-18 ”控制 流 图 矩阵 
对 于 控制 流 图 矩阵 中 的 元 素 ， 除 了 权 值 之 外 ， 还 可 以 赋予 其 他 属性 信息 ， 用 于 完成 对 控制 
结构 的 一 些 评 估 工 作 。 
e 执行 连接 ( 边 ) 的 概率 。 


和 se 
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e 执行 连接 的 频率 

e 连接 的 处 理 时 间 。 

e 执行 连接 所 需 的 计算 资源 (如 内 存 等 )。 

除了 利用 控制 流 图 矩阵 自行 开发 基本 路 径 测 试 的 辅助 工具 外 ， 还 有 一 些 现成 的 工具 可 以 利 
用 ， 例 如 加 拿 大 麦 吉 尔 (MeGilD) 大 学 Sable 研究 小 组 开发 的 Soot。 通 过 Soot 可 以 进行 Java 程序 
过 程 内 和 过 程 间 的 分 析 优 化 ， 以 图 形 化 的 方式 输出 程序 控制 流 图 ， 为 测试 用 例 的 设计 提供 便捷 
条 件 。 


2.6.5 ”基本 路 径 测 试 的 扩展 应 用 


基本 路 径 测试 虽然 被 广泛 应 用 于 单元 测试 阶段 的 程序 路 径 测试 ， 但 是 也 可 以 将 这 种 测试 方 
法 推广 应 用 到 对 软件 系统 流程 的 测试 。 

用 基本 路 径 测试 对 程序 进行 测试 时 ， 路 径 是 指 函 数 代 码 的 某 个 分 支 。 实际 上 ， 将 软件 系统 
的 某 个 流程 也 看 作 路 径 的 话 ， 就 可 以 用 基本 路 径 分 析 的 方法 来 设计 测试 用 例 。 此 时 ， 控 制 流 图 
中 节点 的 粒度 由 语句 级 扩大 到 模块 级 ， 而 边 反 映 了 软件 的 系统 流程 。 

采用 基本 路 径 测试 方法 测试 系统 流程 有 如 下 优点 : 

。 在 已 知 系统 流程 结构 的 基础 上 ， 可 以 设计 出 高 质量 的 测试 用 例 ， 降 低 了 设计 难度 。 

。 在 测试 时 间 紧 张 的 情况 下 ， 可 以 完成 对 系统 重点 流程 的 测试 ， 无 须 完全 根据 经 验 来 取 
使 测试 内 容 。 

应 用 基本 路 径 测 试 对 系统 流程 进行 测试 时 ， 一 般 分 为 如 下 3 个 步骤 。 

1) 将 系统 运行 的 流程 以 控制 流 图 的 方式 表达 出 来 

将 系统 流程 表达 为 不 同 功能 或 模块 的 执行 关系 序列 ， 从 最 常 使 用 的 基本 流程 入 手 ， 再 考虑 
次 要 和 异常 的 流程 。 通 过 逐步 理解 和 细 化 流程 ， 将 各 个 看 似 孤 立 的 流程 关联 起 来 ， 形 成 完整 的 
系统 控制 流 图 。 

2) 找 出 所 有 的 系统 流程 独立 路 径 并 为 每 条 路 径 设 定 优先 级 

路 径 优先 级 的 设 定 需要 考虑 以 下 两 个 因素 

e 路 径 使 用 的 频率 。 使 用 频率 越 高 ， 路 径 优先 级 越 高 。 

e 路 径 的 重要 程度 。 路 径 执 行 失败 对 系统 的 影响 越 大 ， 路 径 优先 级 越 高 。 

将 上 述 两 个 因素 确定 的 路 径 优先 级 相 加 就 得 到 了 路 径 的 最 终 优 先 级 。 根 据 路 径 优先 级 的 排 
序 就 可 以 确定 对 所 有 独立 路 径 的 测试 顺序 以 及 测试 的 细致 程度 。 

3) 设计 测试 用 例 

为 每 条 独立 路 径 选 取 测试 数据 ， 形 成 测试 用 例 。 每 条 路 径 可 以 对 应 多 个 测试 用 例 ， 相 应 的 
测试 输入 数据 应 当 充 分 考虑 典型 值 、 边 界 值 和 特殊 值 等 情况 。 


其 他 白 盒 测试 方法 


除了 上 面 介 绍 的 主要 白 盒 测试 方法 外 ， 还 有 一 些 在 理论 和 应 用 方面 具有 一 定价 值 的 其 他 白 
盒 测 试 方法 。 在 这 里 ， 我 们 对 这 些 方法 做 下 简单 介绍 。 
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1) 域 测试 

程序 错误 可 以 分 为 域 错 误 、 计 算 型 错误 和 丢失 路 径 错 误 三 种 。 

e 域 错 误 。 这 种 错误 也 称 为 路 径 错误 。 程 序 的 每 条 执行 路 径 都 对 应 于 输入 域 的 一 类 情况 ， 

是 程序 的 子 计 算 。 如 果 程 序 的 控制 流 有 错误 ， 那 么 对 于 某 一 特定 的 输入 ， 程 序 可 能 执 
行 的 是 一 条 错误 路 径 。 

e 计算 型 错误 。 属 于 常见 类 型 的 错误 ， 主 要 由 于 赋值 语句 中 的 计算 错误 而 导致 程序 输出 

结果 不 正确 。 

e 丢失 路 径 错 误 。 由 于 程序 中 的 某 处 少 了 判定 谓词 而 造成 路 径 丢失 。 

域 测试 主要 是 针对 域 错 误 进行 的 程序 测试 ， 是 一 种 基于 程序 结构 的 测试 方法 。“ 域 ”在 这 
里 是 指 程序 的 输入 空间 ， 域 测试 方法 基于 对 程序 输入 空间 的 分 析 ， 以 及 在 分 析 基 础 上 对 输入 空 
间 进 行 分 割 划 分 ， 然 后 选取 相应 的 测试 点 进行 测试 。 

任何 程序 都 有 输入 空间 ， 而 输入 空间 又 可 分 为 不 同 的 子 空间 ， 每 一 子 空间 都 对 应 一 种 不 同 
的 程序 计算 。 分 析 被 测 程序 的 结构 就 会 发 现 ， 子 空间 的 划分 是 由 程序 中 分 支 语句 中 的 谓词 决定 
的 。 位 于 输入 空间 的 元 素 ， 经 过 程序 中 某 些 特定 语句 的 执行 而 结束 ， 都 是 为 了 满足 这 些 特 定语 
句 能 够 执行 所 要 求 的 条 件 。 

域 测试 是 一 种 模块 测试 的 有 效 方法 ， 但 是 有 两 个 致命 的 弱点 : 一 是 为 了 简化 分 析 的 目的 
域 测试 对 被 测 程序 提出 了 过 多 的 限制 ， 如 要 求 被 测 程序 不 出 现 数组 ， 分 支 谓 词 是 不 含 布尔 运算 
的 简单 谓词 等 ， 二 是 当 程序 包含 很 多 路 径 时 ， 所 需 的 测试 点 非常 多 。 另 外 ， 输 入 域 的 分 割 和 划 
分 还 涉及 多 维 空间 的 概念 , 不易 理解 。 这 些 都 限制 了 域 测试 方法 的 实用 性 ， 不 易 被 人 们 所 接受 。 

2) 符号 测试 

符号 测试 的 基本 思想 是 允许 测试 用 例 的 输入 数据 是 符号 值 ， 用 以 代替 具体 的 数值 数据 。 目 
的 是 解决 测试 点 不 易 选 取 ， 所 选 测试 点 不 能 保证 具有 完全 代表 性 的 问题 。 

符号 值 既 可 以 是 基本 符号 变量 值 ， 也 可 以 是 符号 变量 值 的 表达 式 。 测 试 过 程 中 ， 程 序 执行 
符号 计算 而 不 再 执行 普通 的 数值 计算 ， 计 算 结 果 是 符号 公式 或 符号 谓词 。 换 言 之 ， 符 号 测试 执 
行 的 是 代数 运算 ， 而 普通 测试 执行 的 是 算数 运算 。 符 号 测试 可 以 看 成 对 普通 测试 的 自然 扩充 ， 
进行 一 次 符号 测试 等 价 于 选取 具体 数值 进行 的 大 量 普通 测试 ， 计 算 结果 可 以 用 于 直观 地 判断 程 
序 的 正确 性 。 

符号 测试 可 以 看 成 程序 测试 和 程序 验证 的 折 中 。 一 方面 ， 符 号 测试 沿用 传统 的 程序 测试 方 
法 ， 通 过 运行 被 测 程序 来 验证 其 可 靠 性 。 另 一 方面 ， 因 为 一 次 符号 测试 的 结果 代表 了 一 大 类 采 
用 具体 数值 的 普通 测试 的 运行 结果 ， 所 以 实际 上 也 就 证 明了 程序 是 否 能 够 正确 处 理 此 类 输入 。 
如 果 程 序 中 只 有 有 限 数量 的 执行 路 径 ， 并 且 通 过 符号 测试 验证 所 有 路 径 都 能 够 正确 执行 ， 那 么 
一 般 就 能 够 确认 程序 的 正确 性 了 。 

符号 测试 方法 是 否 能 够 得 到 广泛 应 用 的 关键 在 于 能 和 否 开发 出 功能 更 为 强大 的 程序 编译 器 和 
解释 器 ， 使 它们 能 够 处 理 符号 运算 。 目 前 ， 符 号 测试 还 存在 着 分 支 问题 、 二 义 性 问题 、 大 程序 
问题 等 ， 使 其 实际 应 用 受到 一 定 的 限制 。 

3) 程序 变异 

程序 变异 是 一 种 错误 驱动 测试 ， 是 针对 某 类 特定 程序 错误 进行 的 测试 。 测 试 理 论 与 实践 证 
明 ， 想 要 找 出 程序 中 的 所 有 错误 几乎 是 不 可 能 的 。 现 实 的 做 法 是 尽 可 能 缩小 错误 搜索 范围 ， 有 
针对 性 地 去 发 现 特定 错误 。 这 样 做 的 优点 是 ， 便 于 重点 发 现 危 害 较 大 的 潜在 软件 缺陷 ， 提 高 测 
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试 效率 ， 降 低 测试 成 本 。 

程序 变异 又 分 为 程序 强 变异 和 程序 弱 变 异 。 程 序 强 变异 通过 对 程序 进行 微小 的 改变 而 生成 
许多 程序 变异 体 , 而 程序 弱 变异 并 不 实际 产生 程序 变异 体 , 而 是 分 析 源 程序 中 易于 出 错 的 环节 ， 
找 出 有 效 的 测试 数据 去 执行 这 些 部 分 。 程序 变异 可 以 模拟 典型 的 程序 错误 (例如 错误 的 操作 符 或 
变量 名 )， 帮 助 测试 人 员 发 现 有 效 的 测试 数据 ， 定 位 测试 数据 的 弱点 ， 或 是 定位 很 少 或 从 不 使 用 
的 代码 的 弱点 。 

从 另 一 方面 来 讲 ， 程 序 变异 也 是 一 种 基于 错误 植 入 的 软件 测试 技术 。 可 以 利用 这 种 技术 来 
衡量 测试 用 例 集 发 现 错误 的 有 效 性 。 变 异 测试 通过 在 程序 中 逐个 引入 符合 语法 的 变化 ， 把 源 程 
序 变 异 为 若干 变异 程序 ， 利 用 相应 的 测试 结果 检验 测试 用 例 集 的 错误 检测 能 力 ， 预 测 源 程序 存 
在 错误 的 可 能 性 。 根 据 变 异 对 象 的 类 型 ， 变 异 算 子 可 以 分 为 语句 、 运 算 符 、 常 量 等 类 型 。 根 据 
变异 的 行为 ， 变 异 算 子 又 可 以 分 为 蔡 换 、 插 入 、 删 除 三 种 类 型 。 

程序 变异 具有 针对 性 强 、 系 统 测试 性 强 的 优点 。 同 时 ， 也 存在 着 如 果 运 行 所 有 变异 因子 会 
成 倍 提高 测试 成 本 的 缺点 。 因 此 ， 在 实际 工作 中 ， 测 试 人 员 往 往 需要 借助 一 些 变 异 测试 工具 来 
完成 工作 。 利 用 变异 测试 工具 ， 测 试 人 员 可 以 不 再 考虑 复杂 的 程序 变异 概念 ， 由 工具 自动 完成 
对 于 变异 情况 的 统计 、 分 析 ， 以 及 用 变异 结果 生成 测试 数据 等 工作 。 


白 合 测试 应 用 策略 


白 盒 测 试 分 为 静态 测试 和 动态 测试 ， 而 静态 测试 和 动态 测试 又 包含 多 种 不 同 的 白 盒 测 试 方 
法 。 每 一 种 白 盒 测 试 方法 都 具有 各 自 不 同 的 特点 ， 如 何 根据 具体 的 被 测 软件 ， 选 择 合适 的 方法 
完成 白 盒 测试 是 一 个 应 当 重 视 的 问题 。 正 确 的 白 盒 测 试 应 用 策略 可 以 帮助 测试 人 员 发 现 更 多 的 
软件 缺陷 ， 有 效 地 提高 测试 效率 和 测试 覆盖 率 。 

下 面 是 一 些 白 盒 测 试 方法 综合 应 用 策略 ， 可 以 在 实际 测试 过 程 中 予以 参考 。 

(1) 开始 进行 白 盒 测 试 时， 首先 应 尽量 使 用 测试 工具 进行 程序 静态 结构 分 析 。 

(2) 在 测试 中 ， 建 议 采 用 先 静态 后 动态 的 组 合 方式 。 先 进行 静态 结构 分 析 和 代码 检查 ， 再 
进行 覆盖 测试 。 

(3) 利用 静态 分 析 的 结果 作为 依据 和 引导 ， 再 使 用 代码 检查 和 动态 测试 的 方式 对 静态 测试 
分 析 结果 进行 进一步 确认 ， 使 测试 工作 更 为 准确 和 有 效 。 

(4) 覆盖 率 测试 是 白 盒 测 试 的 重点 ， 是 测试 报告 中 可 以 作为 量化 指标 的 依据 。 一 般 可 以 使 
用 基本 路 径 测试 达到 语句 覆盖 的 标准 ， 对 于 重点 模块 应 当 使 用 多 种 覆盖 率 标准 衡量 代码 的 覆 
盖 率 。 

(5) 在 不 同 的 测试 阶段 ， 白 盒 测 试 的 应 用 侧重 点 也 不 同 。 单 元 测试 以 代码 检查 和 届 辑 覆盖 为 
主 , 集成 测试 需要 增加 静态 结构 分 析 等 , 而 系统 测试 需要 根据 黑 盒 测 试 结果 采取 相应 的 白 盒 测试 。 


E 开 思考 题 


1. 什么 是 白 盒 测试 ? 白 盒 测试 为 什么 又 称 为 结构 测试 或 逻辑 驱动 测试 ? 


NT 


- 白 盒 测试 都 有 哪些 基本 测试 原则 ? 

- 代码 检查 法 主要 包括 哪些 方法 ? 它们 各 自 的 特点 是 什么 ? 

. 一 般 在 程序 的 哪些 位 置 进行 程序 插 桩 ? 

- 逻辑 覆盖 测试 主要 有 哪 几 种 ? 它们 的 覆盖 标准 是 什么 ? 相互 之 间 的 强 弱 关系 是 怎 


6. 请 分 析 一 下 判定 覆盖 和 条 件 覆 盖 之 间 的 关系 。 
7. 简单 循环 测试 一 般 需要 设计 哪些 测试 用 例 ? 
8. 请 尝试 编写 一 个 利用 控制 流 图 矩阵 自动 获得 独立 路 径 集合 的 小 程序 ， 然 后 利用 本 章 介 绍 
的 基本 路 径 测试 示例 ， 验 证 程序 的 功能 是 否 正确 实现 。 
9. 画 出 下 面 程序 的 流程 图 ， 然 后 设计 语句 覆盖 、 判 定 覆盖 、 条 件 覆 盖 、 判 定 -条 件 覆 盖 、 
条 件 组 合 覆盖 和 路 径 覆 盖 测 试用 例 。 
int LogicExample(int x, int y) 
{ 
int magic=0; 
iftx>0 && y>0) 
{ 
magic =x+yt+10; 


} 
10. 根据 图 2-4 中 的 被 测 程序 和 程序 流程 图 ， 用 基本 路 径 测试 设计 测试 用 例 。 设 计 过 程 要 
求 包含 绘制 控制 流 图 、 计 算 环 路 复杂 度 、 确 定 独立 路 径 集合 、 生 成 测试 用 例 4 个 基本 步骤 。 
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黑 盒 测试 是 软件 测试 活动 中 常用 的 测试 方法 ， 在 第 1 章 中 我 们 已 经 对 其 基本 概念 做 了 简单 
说 明 。 在 本 章 中 ， 主 要 介绍 几 种 具体 的 黑 盒 测 试 方法 ， 包 括 等 价 类 划分 法 、 边 界 值 分 析 法 、 判 
定 表 驱动 法 、 因 果 图 法 、 场 景 法、 正 交 实验 法 和 错误 推测 法 。 这 些 方法 都 是 黑 盒 测试 最 基本 、 
最 常用 的 方法 ， 熟 练 掌握 上 述 方法 有 助 于 在 实际 测试 工作 中 对 其 进行 合理 选择 和 应 用 ， 取 得 良 
好 的 测试 效果 。 此 外 ， 为 了 使 读者 能 够 更 全 面 地 理解 黑 盒 测 试 技 术 ， 本 章 对 黑 盒 测试 方法 的 应 
用 策略 进行 了 详细 说 明 ， 并 且 对 黑 盒 测 试 方法 和 白 盒 测试 方法 进行 了 对 比分 析 。 


对 于 黑 仿 测试 的 基本 认识 


我 们 分 析 和 了 解 事物 一 般 有 两 种 方法 。 一 种 是 深入 事物 内 部 进行 剖析 ， 理 解 事物 的 内 部 结 
构 和 运行 机 制 ， 然 后 对 事物 的 综合 情况 给 出 评价 与 判断 ， 这 是 一 种 白 盒 思 维 方法 ， 另 一 种 是 将 
事物 作为 整体 来 看 待 , 通过 观察 它 在 客观 环境 下 的 输入 输出 结果 , 判断 和 分 析 相 关 事 物 的 特性 ， 
这 是 一 种 黑 盒 思维 方法 。 软 件 测试 技术 方法 的 黑 盒 与 白 盒 之 分 具有 相似 的 思想 。 

黑 盒 测 试 方法 将 被 测 程序 看 作 一 个 无 须 打 开 的 黑 盒子 , 完全 不 考虑 其 内 部 逻辑 结构 、 特性 、 
计算 过 程 等 细节 信息 。 测 试 人 员 一 般 在 不 查看 程序 源 代码 的 情况 下 ， 通 过 程序 接口 或 用 户 界面 
输入 数据 或 操作 程序 运行 ， 观 察 程序 是 否 能 够 正确 地 接收 输入 数据 并 产生 正确 的 输出 结果 ， 是 
否 在 运行 过 程 中 能 够 保持 数据 库 、 文 件 等 外 部 信息 的 完整 性 ， 检 查 程序 的 各 项 功能 是 否 满足 需 
求 和 设计 规格 说 明 书 的 要 求 。 

实际 上 ， 黑 盒 测 试 更 多 的 是 从 用 户 的 角度 去 验证 软件 功能 ， 重 点 关注 的 是 用 户 的 需求 ， 通 
过 程序 界面 和 接口 的 外 部 操作 实现 端 到 端的 测试 。 使 用 黑 盒 测试 方法 ， 测 试 人 员 依赖 的 主要 信 
息 就 是 软件 的 规格 说 明 ， 不 关心 程序 的 具体 实现 细节 ， 通 过 在 程序 外 部 进行 测试 的 方式 来 确认 
软件 是 否 满足 用 户 需求 。 

常见 的 黑 盒 测 试 方法 侧重 于 验证 软件 的 功能 需求 。 同 时 ， 黑 盒 测 试 也 用 于 检测 软件 性 能 等 
非 功能 特性 是 否 满足 需求 。 因 此 ， 黑 盒 测 试 一 般 可 分 为 功能 测试 和 非 功能 测试 两 大 类 。 

黑 盒 测试 主要 检测 如 下 一 些 错误 : 

e 软件 功能 不 满足 需求 或 者 有 遗漏 。 

e 人 机 交互 界面 错误 。 
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e 数据 库 访 问 错误 以 及 不 能 保持 外 部 信息 完整 性 错误 。 

e 软件 性 能 、 安 全 性 、 可 靠 性 和 兼容 性 等 非 功 能 特性 不 满足 需求 。 

e 程序 初始 化 和 终止 错误 。 

从 以 上 内 容 可 以 看 出 ， 黑 盒 测 试 着 眼 于 软件 的 外 部 特征 ， 从 软件 的 功能 和 非 功能 需求 两 个 
方面 ， 对 软件 界面 、 数 据 、 操 作 、 逻 辑 、 接 口 、 性 能 等 进行 测试 ， 发 现 相关 软件 质量 问题 。 黑 


e 。 黑 盒 测试 与 软件 具体 实现 无 关 ， 因 此 黑 盒 测 试用 例 在 程序 具体 实现 方法 变化 后 仍 可 使 
用 。 例 如 ， 软 件 构件 的 开发 语言 或 内 部 具体 算法 发 生变 化 后 ， 只 要 需求 没有 改变 ， 就 
仍然 可 以 使 用 原 有 的 黑 盒 测试 用 例 对 软件 构件 进行 测试 。 

e@ 软件 具体 实现 与 黑 盒 测试 用 例 设 计 可 以 同步 进行 ， 因 此 能 够 节约 软件 项 目 总 体 开发 
时 间 。 

黑 盒 测试 通过 输入 数据 驱动 软件 系统 ， 从 而 完成 测试 。 想 要 通过 黑 盒 测试 发 现 所 有 的 软件 
缺陷 ， 从 理论 上 讲 只 能 采用 穷 举 输入 测试 ， 也 就 是 要 考虑 所 有 可 能 的 输入 情况 ， 当 然 这 是 不 现 
实 的 。 因 此 ， 需 要 学 习 和 研究 各 种 黑 盒 测 试 方法 ， 以 使 于 用 尽 可 能 少 的 测试 用 例 去 发 现 尽 可 能 
多 的 软件 缺陷 。 

需要 注意 的 是 ,虽然 功能 测试 主要 采用 黑 盒 测 试 方法 来 完成 , 但 是 也 会 用 到 白 盒 测试 方法 。 
因此 ， 功 能 测试 和 黑 盒 测 试 两 者 在 概念 上 严格 来 讲 并 不 等 同 。 功 能 测试 讲 的 是 测试 目标 ， 而 黑 
盒 测 试 讲 的 是 测试 方法 。 


3.2.1 等 价 类 划分 思想 


通过 数据 驱动 的 方式 运行 软件 系统 ， 然 后 根据 系统 输出 结果 判断 程序 各 项 功能 是 否 能 够 正 
常 运行 是 黑 盒 测试 的 主要 方法 之 一 。 理 论 上 如 果 要 找 出 程序 中 的 所 有 错误 ， 就 需要 将 可 能 输入 
的 数据 完全 测试 一 遍 。 这 种 穷 举 式 的 数据 输入 测试 方法 显然 是 不 现实 的 ， 我 们 来 看 一 个 例子 。 

假如 一 个 程序 只 是 简单 完成 两 个 整 型 数据 的 加 法 运算 ， 每 次 需要 向 其 输入 两 个 整 型 数据 。 
如 果 整 型 数据 的 长 度 是 4 个 字 节 ( 即 32 位 )， 那 么 每 个 整 型 数据 可 能 的 取 值 为 22 个 。 考 虑 到 两 
个 整 型 数据 的 排列 组 合 情 况 ,可 能 的 输入 数据 情况 共有 2>X23=29 种。 如 果 测 试 一 种 输入 数据 
情况 需要 lms， 那 么 穷 举 测试 需要 5.85 亿 年 。 

我 们 自然 会 想到 ， 实 际 上 选取 少量 具有 代表 性 的 输入 数据 就 可 以 代替 海量 的 输入 数据 ， 只 
要 这 种 代表 性 具有 “等 价 ” 的 特征 。 因 此 ， 问 题 的 重点 变 为 ， 如 何 将 输入 数据 集合 划分 为 多 个 
适当 的 数据 子 集合 ( 即 等 价 类 )， 使 得 每 个 等 价 类 中 选取 的 数据 可 以 代表 该 类 中 的 其 他 数据 ， 这 
就 是 “等 价 类 划分 ”方法 的 基本 思想 。 

通过 等 价 类 划分 法 ， 我 们 可 以 将 不 能 穷 举 的 输入 数据 合理 划分 为 有 限 个 数 的 等 价 类 ， 然 后 
在 每 个 等 价 类 中 选取 少量 数据 来 代替 对 于 这 一 类 中 其 他 数据 的 测试 。 这 种 划分 的 基础 是 

e 在 分 析 需 求 规格 说 明 的 基础 上 划分 等 价 类 ， 不 需要 考虑 程序 的 内 部 结构 。 

e 将 所 有 可 能 的 输入 数据 划分 为 若干 互 不 相交 的 子 集 。 也 就 是 说 ， 所 有 等 价 类 的 并 集 是 
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整个 输入 域 ， 各 等 价 类 数据 之 间 互 不 相交 。 

e 每 个 等 价 类 中 的 各 个 输入 数据 对 于 揭示 程序 错误 都 是 等 效 的 ， 如 果 用 等 价 类 中 的 一 个 
数据 进行 测试 不 能 发 现 程序 错误 ， 那 么 用 该 等 价 类 中 的 其 他 数据 进行 测试 也 不 可 能 发 
现 程序 错误 。 

从 上 述 内 容 可 以 看 出 ， 等 价 类 划分 法 是 黑 盒 测 试 中 最 基本 、 最 常用 的 测试 用 例 设计 思想 与 
方法 ， 通 过 该 方法 可 以 将 海量 的 随机 输入 数据 测试 变 为 少量 的 、 更 有 针对 性 的 测试 。 例 如 ， 对 
于 上 面 所 说 的 将 两 个 整 型 数据 相 加 的 程序 ， 可 以 将 每 个 整 型 数据 划分 为 正 整数 、 零 和 负 整 数 3 
种 情况 。 该 程序 的 输入 域 是 两 个 整 型 数据 的 组 合 ， 因 此 可 以 将 其 输入 域 划分 为 如 表 3-1 所 示 的 
9 个 等 价 类 ， 用 9 个 测试 用 例 代 表 众 多 输入 数据 组 合 情 况 。 


表 3-1 整数 加 法 程序 的 等 价 类 划分 


等 价 类 编号 加 数 1 | 加 数 2 | 测试 用 例 

1 正 整 416 

2 正 整数 | 委 sn 

3 正 整 数 61(-D 

4 夫 ot8 

5 夫 0+0 

6 零 01(-9) 

7 负 整 数 (-2H-5 

8 负 整数 (TH0 

9 负 束 数 -OH+(-10) 


但 是 ， 仅 仅 划分 出 上 述 等 价 类 是 远 远 不 够 的 ， 因 为 用 户 很 可 能 会 输入 一 些 超出 程序 规格 说 
明 的 “非法 ”数据 。 例 如 ， 对 于 上 述 整数 加 法 程序 ， 用 户 可 能 会 输入 小 数 、 字 母 、 特 殊 字 符 、 
空格 等 。 因 此 ， 在 划分 等 价 类 时 ， 不 仅 要 考虑 有 效 等 价 类 划分 ， 还 必须 考虑 无 效 等 价 类 划分 。 

e “有 效 等 价 类 ”是 指 对 于 程序 的 规格 说 明 来 说 是 合理 的 、 有 意义 的 输入 数据 构成 的 集 

合 ， 利 用 有 效 等 价 类 可 以 检验 程序 是 否 实现 了 规格 说 明 中 所 规定 的 功能 和 性 能 要 求 。 

e “无 效 等 价 类 ”与 有 效 等 价 类 相反 ， 是 指 对 程序 的 规格 说 明 来 说 是 无 意义 的 、 不 合 

理 的 输入 数据 构成 的 集合 , 利用 无 效 等 价 类 可 以 检验 程序 是 否 具有 容错 性 和 较 高 的 可 
靠 性 。 


3.2.2 ”等 价 类 划分 的 规则 


如 何 根据 具体 情况 划分 等 价 类 ， 是 正确 运用 等 价 类 划分 法 的 关键 ， 下 面 给 出 几 种 常用 的 等 
价 类 划分 规则 。 

1) 按 输入 区 间 划 分 

在 规格 说 明 规定 了 输入 数据 的 取 值 范围 或 取 值 数量 的 情况 下 ， 可 以 确定 一 个 有 效 等 价 类 和 
两 个 无 效 等 价 类。 第 一 种 情况 ， 在 规定 了 取 值 范围 的 情况 下 ， 例 如 统计 学 生成 绩 的 程序 规定 学 
生成 绩 范围 是 0 成 绩 二 100， 其 等 价 类 划分 如 图 3-1 所 示 。 第 二 种 情况 ， 在 规定 了 取 值 数量 的 
情况 下 ， 例 如 规定 一 名 学 生 最 多 选修 5 门 课 最 少 选修 1 门 课 的 情况 ， 则 一 个 有 效 等 价 类 为 1 过 
学 生 选 修 课 程 数 量 夺 5， 两 个 无 效 等 价 类 为 没有 选修 课程 和 选修 课程 数量 大 于 5。 
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光 一 
无 效 等 价 类 ( 低 于 范围 ) 有 效 等 价 类 (范围 内 ) 无 效 等 价 类 (高 于 范围 ) 
图 3-1 按 输入 区 间 划 分 等 价 类 


2) 按 数值 集合 划分 

如 果 规格 说 明 规定 了 一 个 输入 值 集合 ， 则 可 以 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 ， 无 
效 等 价 类 是 所 规定 输入 值 集合 之 外 的 所 有 不 允许 输入 值 的 集合 。 例 如, 程序 只 接收 正 整 型 数据 ， 
那么 可 以 确定 一 个 正 整 型 数据 的 有 效 等 价 类 和 一 个 非 正 整 型 数据 的 无 效 等 价 类 。 这 种 划分 方法 
与 第 1 种 按 输入 区 间 划 分 方法 的 不 同 在 于 ， 输 入 值 集合 并 没有 明确 具体 的 上 下 边界 值 。 

3) 按 离散 数值 划分 

如 果 规 格 说 明 规定 了 一 组 值 ， 假 定 有 n 个 ， 并 且 程序 要 对 每 个 输入 值 分 别 进行 处 理 ， 则 可 
以 确定 n 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 这 种 输入 规定 往往 对 应 于 枚 举 型 离散 数值 输入 情况 ， 
例如 程序 只 接收 (北京 、 上 海 、 天 津 、 重 庆 )4 个 数值 ， 针 对 这 4 种 情况 进行 相应 的 计算 ， 此 时 的 
无 效 等 价 类 就 是 非 直辖 市 的 城市 集合 。 

了) 按 限制 条 件 或 规则 划分 

如 果 规 格 说 明 规定 了 “必须 如 何 ” 的 规则 或 限制 条 件 ， 则 可 以 确定 一 个 有 效 等 价 类 和 若干 
无 效 等 价 类 。 一 个 有 效 等 价 类 是 符号 规则 的 所 有 输入 数据 ， 若 干 无 效 等 价 类 是 从 违反 规则 的 不 
同情 况 出 发 确定 的 相应 等 价 类 。 例 如 ， 规 定 邮政 编码 必须 由 6 位 数字 构成 ， 那 么 可 以 确定 一 个 
有 效 等 价 类 以 及 含有 字母 、 特 殊 字 符 、 空 格 等 情况 的 多 个 无 效 等 价 类 。 

5) 按 布尔 量 取 值 划分 

如 果 规 格 说 明 规定 了 输入 是 一 个 布尔 量 ， 则 可 以 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 
这 是 一 种 特殊 的 情况 ， 有 效 等 价 类 只 包含 一 个 真 值 ， 无 效 等 价 类 只 包含 一 个 假 值 。 

6) 细 分 等 价 类 

当 发 现 已 划分 的 等 价 类 中 的 各 个 元 素 在 程序 中 的 处 理 方式 不 同时 ， 需 要 对 该 等 价 类 进一步 
划分 为 更 小 的 等 价 类 。 


3.2.3 ”测试 用 例 的 设计 步骤 与 实例 


运用 等 价 类 划分 法 设计 测试 用 例 时 ， 一 般 采 用 如 下 步骤 。 
(1) 按照 表 3-2 所 示 建 立 等 价 类 表 , 列举 出 所 有 划分 的 有 效 等 价 类 和 无 效 等 价 类 , 这 一 步骤 
是 设计 等 价 类 划分 法 测试 用 例 的 关键 。 


表 3-2 等 价 类 表 


输入 条 件 无 效 等 价 类 


(2) 给 每 一 个 等 价 类 规定 唯一 的 编号 。 
(3) 设计 一 个 有 效 等 价 类 测试 用 例 ， 使 其 尽 可 能 多 地 覆盖 尚未 覆盖 的 有 效 等 价 类 。 重 复 这 
一 步骤 ， 直 到 所 有 的 有 效 等 价 类 都 被 测试 用 例 覆 盖 。 
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(4) 设计 一 个 无 效 等 价 类 测试 用 例 ， 使 其 只 覆盖 一 个 无 效 等 价 类 。 重 复 这 一 步 又， 直到 所 
有 的 无 效 等 价 类 都 被 测试 用 例 覆 盖 。 

从 以 上 步骤 的 内 容 可 以 看 出 ， 有 效 等 价 类 测试 用 例 的 数量 往往 小 于 有 效 等 价 类 的 数量 ， 因 
为 一 个 有 效 等 价 类 测试 用 例 很 可 能 会 覆盖 多 个 有 效 等 价 类 。 但 是 ， 无 效 等 价 类 测试 用 例 的 数量 
一 般 等 于 无 效 等 价 类 的 数量 ， 也 就 是 说 ， 需 要 为 每 一 个 无 效 等 价 类 设计 一 个 对 应 的 测试 用 例 。 
这 是 由 于 ， 一 个 测试 用 例如 果 覆 盖 了 多 个 无 效 等 价 类 ， 那 么 当 执行 这 个 测试 用 例 并 且 发 现 其 中 
一 个 无 效 等 价 类 错误 时 ， 测 试 过 程 将 会 终止 ， 不 再 继续 检测 其 他 错误 ， 因 此 无 法 发 现 其 他 无 效 
等 价 类 错误 ， 已 发 现 的 错误 屏蔽 了 其 他 程序 错误 。 

接 下 来 ， 我 们 看 一 个 用 等 价 类 划分 法 设计 测试 用 例 的 实例 。 

有 一 个 用 于 判断 三 角形 类 型 的 程序 ， 要 求 输入 3 个 整数 A、B、C， 分别 作为 一 个 三 角形 的 
3 条 边 ， 然 后 由 程序 判断 该 三 角形 是 一 般 三 角形 、 等 腰 三 角形 、 等 边 三 角形 ， 还 是 不 能 构成 三 
角形 ， 程 序 最 后 输出 上 述 4 种 判断 结果 之 一 。 要 求 使 用 等 价 类 划分 法 为 该 程序 设计 测试 用 例 。 

三 角形 问题 是 经 典 的 等 价 类 划分 测试 案例 ， 原 因 在 于 ， 三 角形 问题 包含 易于 理解 而 又 复杂 
的 输入 与 输出 之 间 的 关系 ， 这 是 其 经 久 不 衰 的 主要 原因 之 一 。 根 据 几 何 常识 可 知 ，A、B、C 作 
为 一 个 三 角形 的 3 条 边 必须 满足 如 下 条 件 : 

® A>0，B>0，C>0; 

® A+B>C，B+C>A，A+C>B; 

e ”如果 是 等 腰 三 角形 ， 需 要 判断 A=B， 或 B=C， 或 A=C; 

e 如 果 是 等 边 三 角形 ， 需 要 判断 A=B， 且 B=C， 且 A=C。 

根据 上 述 条 件 ， 可 以 按照 表 3-3 所 示 建 立 等 价 类 表 ， 列 举 出 所 有 的 有 效 等 价 类 和 无 效 等 价 
类 ， 并 且 给 每 一 个 等 价 类 规定 唯一 的 编号 。 

接 下 来 ， 根 据 已 划分 出 的 有 效 等 价 类 和 无 效 等 价 类 ， 设 计 出 如 表 3-4 所 示 的 等 价 类 划分 法 测 
试用 例 , 使 其 覆盖 所 有 的 等 价 类 。 设 计 测试 用 例 时 , 尤其 要 注意 对 于 无 效 等 价 类 测试 用 例 的 设计 。 

需要 注意 的 是 ， 等 价 类 测试 用 例 的 设计 结果 不 一 定 是 唯一 的 ， 不 同 设 计 人 员 可 能 会 划分 出 
不 同 的 等 价 类 ， 只 要 测试 用 例 能 够 满足 测试 要 求 ， 足 以 覆盖 被 测 程序 就 可 以 了 。 


表 3-3 三 角形 问题 的 等 价 类 表 


输入 条 件 无 效 等 价 类 
A<0 0 
B<0 (8) 
三 G) C<0 9) 
人 A+B>C (4) A+B<C (10) 
B+C>A (5) B+C<A (1D) 
A+C>B (9 AHC<B (12) 
A=B (13) 
是 否 为 等 腰 三 角形 B=C (14) AzB, 有 Bz#C, EAC (10) 
AcC (19) 
AzB (9) 
是 否 为 等 边 三 角形 A=BandB=CandA=C (17) BFC (19) 
AzC (20) 
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表 3-4 三 角形 问题 的 等 价 类 测试 用 例 


用 例 编号 AsB; © 输出 
1 机 世 一 般 三 角形 

2 而 高 六 

3 0 等 腰 三 角形 

4 5 人 

5 6, 6, 6 等 边 三 角形 

6 0, 4, 5 

7 Ee 

和 不 能 构成 三 角形 
9 3355; 六 

10 37 3 

11 5，9，4 

12 i 非 等 腰 三 角形 
13 5, 6, 6 

14 和 非 等 边 三 角形 
15 6, 6, 7 


为 了 加 深 对 等 价 类 测试 用 例 设计 的 了 解 ， 让 我 们 再 来 看 一 个 测试 用 例 设 计 实 例 。 
我 国 的 固定 电话 号 码 一 般 由 “地 区 码 + 电话 号 码 ” 组 成 ， 主 要 的 编码 规则 如 下 : 
(1) 地 区 码 是 以 0 开头 的 3 位 或 4 位 数字 ， 区 内 通话 时 可 以 为 空白 。 
(2) 电话 号 码 是 以 非 0 和 非 1 开头 的 7 位 或 8 位 数字 。 
-个 应 用 程序 接收 符合 上 述 规则 的 电话 号 码 ， 需 要 设计 等 价 类 测试 用 例 以 对 其 进行 测试 。 
该 问题 的 等 价 类 划分 如 表 3-5 所 示 ， 相 应 的 测试 用 例如 表 3-6 所 示 。 需 要 说 明 的 是 ， 实 际 
的 固定 电话 号 码 编码 规则 更 为 复杂 ， 这 里 做 了 必要 简化 。 
表 3-5 电话 号 码 问题 的 等 价 类 表 


输入 条 件 有 效 等 价 类 无 效 等 价 类 
以 非 0 开 头 的 3 位 数字 (0) 
空白 (D 以 非 0 开头 的 4 位 数字 (5) 
地 区 码 以 0 开头 的 3 位 地 区 码 (2) 以 0 开头 且 小 于 3 位 的 数字 (6) 


以 0 开头 的 4 位 地 区 码 (3) 以 0 开头 且 大 于 4 位 的 数字 (7) 

以 0 开头 且 含有 非 数字 字符 (8) 

以 0 开头 的 7 位 或 8 位 数字 (1D 
以 1 开头 的 7 位 或 8 位 数字 (12) 
以 非 0 和 非 1 开头 且 小 于 7 位 的 数字 (13) 
以 非 0 和 非 1 开头 且 大 于 8 位 的 数字 (14) 
以 非 0 和 非 1 开头 且 含有 非 数字 字符 (15) 


以 非 0 和 非 1 开头 的 7 位 号 码 (9) 


全 和 人 以 非 0 和 非 1 开头 的 8 位 号 码 (10) 
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表 3-6 ”电话 号 码 问题 的 等 价 类 测试 用 例 


要 输入 数据 - 

用 例 编号 地 区 码 电话 号 码 覆盖 等 价 类 编号 输出 
1 空白 85679372 1, 10 有 效 
2 025 73465216 2 者 有 效 
3 0571 3，10 有 效 
4 0745 8341568 9 有 效 
沪 973 58729411 4 无 效 
6 3612 7421553 5 无 效 
7 01 37458934 6 无 效 
8 05274 8465371 7 无 效 
9 02hc 76538924 8 无 效 
10 on u 无 效 
11 0516 | 1856439 | 12 无 效 
14 21 13 无 效 
15 0351 14 无 效 
16 029 15 无 效 


需要 说 明 的 是 ， 为 了 确定 和 导出 输入 数据 的 等 价 类 ， 经 常 需要 分 析 输 出 数据 的 等 价 类 。 总 
的 来 讲 ， 等 价 类 划分 需要 经 过 以 下 两 个 思维 过 程 。 

(1) 分 类 。 对 输入 域 根据 相同 特性 或 类 似 功能 进行 分 类 。 

(2) 抽象 。 在 各 个 等 价 类 中 抽象 出 相同 特性 ， 然 后 用 数据 实例 表征 这 个 特性 。 

等 价 类 划分 法 有 自身 的 优 缺 点 。 优 点 是 用 相对 较 少 的 测试 用 例 就 能 够 进行 比较 完整 的 输入 
数据 覆盖 ， 解 决 了 不 能 穷 举 测试 的 问题 。 缺 点 是 需要 花费 很 多 时 间 去 定义 规格 说 明 中 一 般 不 会 
给 出 的 无 效 测试 用 例 预 期 输出 。 另 外 ， 等 价 类 划分 法 缺乏 对 特殊 测试 用 例 的 考虑 ， 并 且 经 常 需 
要 深入 的 系统 知识 才能 划分 出 合适 的 等 价 类 。 


经 验 表明 ， 程 序 在 处 理 边界 情况 时 最 容易 发 生 错 误 ， 因 此 边界 值 是 测试 的 重点 。 边 界 值 分 
析 法 具有 很 强 的 错误 发 现 能 力 ， 能 够 取得 很 好 的 测试 效果 。 


3.3.1 ”边界 值 选取 原则 


相 比 于 等 价 类 划分 法 而 言 ， 边 界 值 分 析 法 不 是 从 等 价 类 中 选取 典型 值 或 任意 值 作为 测试 用 
例 ， 而 是 使 等 价 类 的 每 个 边界 都 要 作为 测试 条 件 ， 在 边界 处 选取 正好 等 于 、 刚 刚 大 于 或 刚刚 小 
于 边界 的 值 作为 测试 数据 。 此 外 ， 边 界 值 分 析 法 不 仅 需要 考虑 输入 条 件 边界 ， 还 要 考虑 输出 域 
边界 的 情况 。 

程序 中 常见 的 边界 情况 有 以 下 几 种 。 

e 循环 结构 中 第 0 次 、 第 一 次 和 最 后 一 次 循环 。 


TT、 


数组 的 第 一 个 和 最 后 一 个 下 标 元 素 。 
变量 类 型 所 允许 的 最 大 值 和 最 小 值 。 
链表 的 头 尾 节点 。 

e 用 户 名 和 密码 等 可 接受 字符 个 数 的 最 大 值 和 最 小 值 。 

e 报表 的 第 一 行 、 第 一 列 、 最 后 一 行 和 最 后 一 列 。 

从 以 上 内 容 可 以 看 出 ， 边 界 值 的 测试 思想 在 白 盒 测 试 中 也 会 经 常用 到 ， 边 界 值 技术 并 不 是 
黑 盒 测试 的 专利 。 当 应 用 边界 值 分 析 法 进行 黑 盒 测 试 时 ， 经 常 遇 到 的 边界 检验 情况 包括 数字 、 
字符 、 位 置 、 重 量 、 速 度 、 尺 寸 、 空 间 等 ， 它 们 的 边界 值 相应 为 最 大 和 最 小 、 首 位 和 末 位 、 上 
和 下 、 最 高 和 最 低 、 最 快 和 最 慢 、 空 和 满 等 情况 ， 需 要 根据 特定 问题 耐心 细致 地 逐个 考虑 。 

根据 边界 值 分 析 法 选择 测试 用 例 有 如 下 原则 。 

(1) 如 果 输 入 条 件 规定 了 取 值 的 范围 ， 那 么 测试 用 例 的 输入 数据 应 选取 所 规定 范围 的 边界 
值 以 及 刚刚 超过 范围 边界 的 值 。 

(2) 如 果 输 入 条 件 规定 了 值 的 个 数 ， 那 么 测试 用 例 选 择 最 大 个 数 、 最 小 个 数 、 比 最 大 个 数 
多 1 和 比 最 小 个 数 少 1 的 数据 等 作为 测试 数据 。 

(3) 根据 规格 说 明 的 每 一 个 输出 条 件 ， 分 别 使 用 以 上 两 个 原则 。 

(4) 如 果 输 入 域 和 输出 域 是 顺序 表 或 顺序 文件 等 有 序 集合 ， 那 么 选取 集合 的 第 一 个 和 最 后 
一 个 元 素 作为 测试 用 例 。 

(5) 对 于 程序 的 内 部 数据 结构 ， 选 择 其 边界 值 作为 测试 用 例 。 

(6) 分 析 规格 说 明 并 找 出 其 他 可 能 的 边界 条 件 。 


3.3.2 ”两 类 边界 值 选取 方法 


围绕 着 边界 值 ， 测 试用 例 的 数据 选取 一 般 有 如 下 两 种 方法 。 

@ 五 点 法 : 选取 最 大 值 max、 略 低 于 最 大 值 max-、 正 常 值 normal、 略 高 于 最 小 值 min+、 
最 小 值 min。 这 种 选取 方法 也 称 为 一 般 边 界 值 分 析 。 

e 七 点 法 : 选取 略 大 于 最 大 值 max+、 最 大 值 max、 略 低 于 最 大 值 max-、 正 常 值 normal、 


省 高 于 最 小 值 min+、 最 小 值 min、 略 低 于 最 小 值 min-。 这 种 选取 方法 也 称 为 健壮 性 边 
界 值 分 析 ， 是 对 五 点 法 的 扩展 。 
接 下 来 ， 我 们 分 别 对 这 两 种 方法 进行 说 明 。 
X2> 和 ， ， xX; ， 
和 | | 一 d Ei 全 = 
se o, oo . oe 
! . | | @ 1 
| | 
| % 
> . > 
a b XI a b Xi 
(a) 一 般 边 界 值 分 析 (b) 健壮 性 边界 值 分 析 


图 3-2 ”两 类 边界 值 数据 选取 方法 
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1) 一 般 边 界 值 分 析 

假设 被 测 程序 具有 两 个 输入 变量 Xi 和 X,， 规 定 a<Xi 志 b，c 夺 Xd。 在 采用 一 般 边界 值 
分 析 方 法 时 ,测试 用 例 的 数据 选取 按照 如 图 3-2(a) 所 示 进 行 ， 共 产生 如 表 3-7 所 示 的 9 个 测试 
用 例 。 


表 3-7 ”两 变量 一 般 边 界 值 分 析 测 试用 例 


编号 | 1 2 3 4 5 6 了 8 9 
Xi1 | a | at normal b- b normal normal normal | normal 
X2 normal normal normal normal normal C ct d- d 


推 而 广 之 , 对 于 含有 NN 个 变量 的 程序 ， 先 对 其 中 的 一 个 变量 依次 取 值 max、max-、normal、 
min+、min， 对 其 他 变量 取 正 常 值 nonmal。 然 后 ， 重 复 进行 其 他 变量 取 值 。 除 了 上 下 边界 处 的 
4 个 取 值 外 ， 每 个 变量 可 以 共用 一 个 各 变量 取 值 均 为 正常 值 nommal 的 测试 用 例 。 那 么 ， 一 般 边 
界 值 分 析 测 试用 例 的 数量 为 4N+1。 

2) 健壮 性 边界 值 分 析 

相 比 于 一 般 边 界 值 分 析 ， 健 壮 性 边界 值 分 析 需 要 为 每 个 变量 额外 考虑 略 超过 最 大 值 max+ 
和 略 小 于 最 小 值 min- 两 种 情况 。 因 此 对 于 两 个 变量 的 情况 ,其 边界 值 按照 如 图 3-2(b) 所 示 进 行 ， 
共产 生 13 个 测试 用 例 ， 有 具体 测试 用 例 不 再 列 出 。 对 于 含有 N 个 变量 的 程序 ， 健 壮 性 边界 值 分 
析 测 试用 例 的 数量 为 6N+1。 

健壮 性 测试 的 意义 在 于 测试 例外 情况 下 程序 如 何 处 理 。 例 如 ， 输 入 缓冲 区 溢出 如 何 处 理 ， 
电梯 的 负荷 超过 最 大 值 时 是 否 能 够 报警 并 拒绝 启动 运行 等 。 对 强 类 型 语言 (如 C 语言 ) 进 行 健壮 
性 测试 比较 困难 ， 超 过 变量 取 值 范围 的 值 都 会 产生 异常 。 


3.3.3 ”边界 值 分 析 法 示例 


一 个 函数 包含 3 个 输入 变量 ， 分 别 为 Year、Month 和 Day， 其 输出 是 输入 日 期 后 一 天 的 日 
期 。 例如， 输入 是 2018 年 3 月 11 日， 则 该 函数 的 输出 为 2018 年 3 月 12 日 。 要求 3 个 输入 变 
量 均 为 正 整 数值 ， 并 且 1900 志 Year 志 2050,1<Month<12,1<Day<<31。 

采用 一 般 边 界 值 分 析 法 设计 测试 用 例 ， 因 为 问题 中 共有 3 个 变量 ， 所 以 测试 用 例 的 数量 为 
4N+1=4X3+1=13。 测 试用 例如 表 3-8 所 示 。 


表 3-8 “日 期 函数 一 般 边 界 值 分 析 法 测试 用 例 


用 例 编号 Year Month Day 预期 输出 
1 1900 8 6 1900 年 8 月 7 日 

2 1901 8 6 1901 年 8 月 7 日 

3 2018 8 6 2018 年 8 月 7 日 

4 2049 8 6 2049 年 8 月 7 日 

5 2050 8 6 2050 年 8 月 7 日 

6 2018 1 6 2018 年 1 月 7 日 
汪 2018 2 6 2018 年 2 月 7 日 

8 2018 11 6 2018 年 11 月 7 日 
9 2018 12 6 2018 年 12 月 7 日 
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( 续 表 ) 
预期 输出 
2018 年 8 月 2 日 
2018 年 8 月 3 日 
2018 年 8 月 31 日 
2018 年 9 月 1 日 


3.3.4 ”边界 值 分 析 法 的 特点 


边界 值 和 等 价 类 的 联系 非常 紧密 。 划 分 等 价 类 时 ， 经 常 先 要 确定 边界 值 。 很 多 情况 下 ， 一 
些 输入 数据 边界 就 是 在 我 们 划分 等 价 类 的 过 程 中 产生 的 。 因 为 边界 的 地 方 最 易 出 错 ， 在 从 等 价 
类 中 选取 测试 数据 的 时 候 ， 也 经 常 选取 边界 值 。 

事实 上 , 边界 值 分 析 法 经 常 被 看 作 等 价 类 划分 法 的 补充 , 测试 活动 中 经 常 将 两 者 混合 使 用 ， 
可 以 起 到 更 好 的 测试 效果 。 

同时 需要 说 明 的 是 ， 边 界 值 分 析 法 有 明显 的 局 限 性 。 边 界 值 分 析 法 适合 分 析 具 有 多 个 独立 
变量 的 函数 ， 并 且 这 些 变量 具有 明确 的 边界 范围 。 如 果 变 量 值 之 间 互 相 影响 ， 则 不 能 称 为 独立 
变量 。 例 如 上 面 的 示例 中 ， 只 采用 单一 的 边界 值 分 析 法， 测试 用 例 是 很 不 充分 的 ， 对 于 闽 年 、 
阔 月 、 大 月 和 小 月 的 函数 处 理 情况 就 没有 测试 到 。 

由 于 边界 值 分 析 法 假设 变量 是 完全 独立 的 ， 不 考虑 它们 之 间 的 依赖 关系 ， 因 此 只 是 针对 各 
个 变量 的 边界 范围 导出 变量 的 极限 值 , 没 用 分 析 函 数 的 具体 性 质 , 也 没有 考虑 变量 的 语义 含义 。 
另外 ， 采 用 边界 值 分 析 法 测试 布尔 型 变量 和 逻辑 变量 的 意义 不 大 ， 因 为 取 值 仅 有 True 和 False 
两 种 情况 。 


鲍 】 判定 表 驱 动 法 


判定 表 又 称 为 决策 表 ， 经 常用 于 描述 复杂 的 程序 输入 条 件 组 合 与 相应 的 程序 处 理 动作 之 间 
的 对 应 关系 。 已 经 介绍 过 的 等 价 类 划分 法 和 边界 值 分 析 法 都 没有 考虑 被 测 程序 输入 条 件 的 组 合 
情况 ， 只 是 孤立 地 考虑 各 个 输入 条 件 的 测试 数据 取 值 问题 ， 对 输入 组 合 情 况 下 可 能 产生 的 错误 
没有 进行 充分 的 测试 。 判 定 表 驱 动 法 从 多 个 输入 条 件 组 合 的 角度 来 满足 测试 的 覆盖 率 要求 ， 是 
黑 盒 测 试 方法 中 最 严格 、 最 有 逻辑 性 的 测试 方法 。 
3.4.1 判定 表 的 构造 与 化 简 
在 进行 软件 设计 时 ， 判 定 表 就 已 经 被 作为 一 种 常见 的 设计 工具 了 。 由 于 判定 表 能 够 将 复杂 
的 逻辑 关系 和 多 种 条 件 组 合 的 情况 直观 和 清晰 地 表达 出 来 ， 因 此 便于 程序 开发 人 员 理 解 设计 要 
求 ， 同 时 便于 对 设计 结果 进行 检查 。 

判定 表 由 如 图 3-3 所 示 的 4 个 部 分 构成 。 

(1) 条 件 桩 : 列 出 了 问题 所 包含 的 所 有 条 件 。 一 般 情况 下 ， 条 件 的 排列 顺序 无 关 紧 要 。 


和 
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条 件 柱 条 件 项 “| 加 
动作 桩 动作 项 “| 则 


3-3 判定 表 的 构成 


(2) 动作 桩 : 列 出 了 问题 规定 可 能 采取 的 操作 。 对 这 些 操作 的 排列 顺序 一 般 没有 什么 要 求 。 

(3) 条 件 项 : 条 件 桩 中 的 每 个 条 件 可 以 取 真 值 或 假 值 ， 条 件 项 给 出 了 这 些 条 件 取 值 的 多 种 
组 合 情 况 。 

(4) 动作 项 : 列 出 了 在 各 种 条 件 取 值 情况 下 应 当 采 取 的 相应 动作 。 

判定 表 的 构造 目的 是 表达 和 获取 规则 ， 规 则 是 任何 条 件 组 合 的 特定 取 值 及 其 应 当 执行 的 操 
作 。 在 判定 表 中 ， 贯 穿 条 件 项 和 动作 项 的 一 列 就 是 一 条 规则 。 显 然 ， 判 定 表 中 给 出 了 多 少 条 件 
组 合 情 况 ， 相 应 的 也 就 有 多 少 条 规则 ， 即 条 件 项 和 动作 项 有 多 少 列 。 对 于 包含 n 个 条 件 的 判定 
表 来 讲 ， 因 为 每 个 条 件 有 真 假 两 种 取 值 情 况 ， 因 此 判定 表 有 2 个 规则 。 

判定 表 的 构造 过 程 包含 如 下 5 个 步骤 : 

(1) 列 出 所 有 的 条 件 柱 和 动作 桩 。 

(2) 根据 条 件 桩 中 条 件 的 个 数 确定 规则 的 个 数 。 

(3) 根据 条 件 组 合 ， 填 入 条 件 取 值 ， 形 成 每 一 个 条 件 项 。 

(4) 填 入 对 应 的 动作 项 ， 得 到 初始 判定 表 。 

(5) 化 简 初始 判定 表 ， 合 并 相似 规则 。 

我 们 来 看 一 个 判定 表 的 构造 实例 。 假 设 程序 的 规格 说 明 要 求 : “对 于 各 科 成 绩 均 高 于 85 
分 并 且 是 优秀 毕业 生 的 人 员 ， 或 是 总 成 绩 大 于 450 分 的 人 员 ， 应 当 优先 录取 ， 其 他 情况 进行 正 
常 处 理 ”。 从 规格 说 明 可 知 ， 条 件 桩 由 “各 科 成 绩 均 高 于 85 分 ” “优秀 毕 业 生 ”和 “总 成 绩 大 
于 450 分 ”3 个 条 件 构成 ， 动 作 桩 由 “优先 录取 ”和 “正常 处 理 ” 两 种 动作 构成 。 因 为 有 3 个 
条 件 , 所 以 有 23=8 个 规则 。 根据 8 种 条 件 取 值 组 合 情 况 , 可 以 得 到 如 表 3-9 所 示 的 初始 判定 表 。 


表 3-9 初始 判定 表 


条 件 优秀 毕业 生 


总 成 绩 大 于 450 分 


和， 6， 
各 科 成 绩 均 高 于 85 分 N [x 
条 件 | 优秀 毕业 生 — | = 
总 成 绩 大 于 450 分 | N 
优先 录取 | 


正常 处 理 


软件 测试 技术 


在 实际 应 用 中 ， 初 始 判定 表 的 规则 数量 往往 比较 庞大 ， 一 般 需 要 对 其 进行 化 简 。 通 过 合 
相似 规则 ， 可 减少 规则 总 体 数 量 。 如 果 判 定 表 中 的 两 条 或 多 条 规则 具有 相同 的 动作 ， 并 且 它 们 
的 条 件 项 非常 相似 ， 那 么 可 以 考虑 将 这 些 规则 合并 为 一 条 规则 。 判 定 表 经 过 化 简 后 ， 并 不 会 遗 
漏 规格 说 明 中 所 要 求 的 任何 处 理 功能 。 

如 图 3-4(a) 所 示 ， 两 条 规则 的 动作 项 相同 ， 条 件 项 中 前 两 项 条 件 的 取 值 相同 ， 只 有 第 3 项 
条 件 的 取 值 不 同 。 这 种 情况 下 ， 无 论 第 3 项 条 件 取 任何 值 ， 都 会 执行 相同 的 动作 。 因 此 ， 可 以 
将 两 条 规则 合并 为 一 条 ， 用 特定 符号 “一 ”表示 动作 与 该 项 条 件 取 值 无 关 。 与 图 3-4(a) 类 似 ， 
在 图 3-4b) 中 ， 无 关 条 件 项 “一 ”可 以 包含 其 他 条 件 项 取 值 ， 具 有 相同 动作 的 规则 还 可 以 进 一 
步 合并 。 


3-4 判定 表 规 则 的 合并 
利用 上 述 合并 相似 规则 的 原理 , 可 以 将 表 3-9 所 示 的 初始 判定 表 化 简 为 表 3-10 所 示 的 判定 
表 。 判 定 表 中 的 规则 数量 从 8 条 简化 为 5 条 。 
3.4.2 ”判定 表 驱 动 法 应 用 实例 


一 个 函数 根据 A、B 和 C 三 条 边 的 输入 值 判 断 是 否 能 够 构成 三 角形 , 如 果 能 够 构成 三 角形 ， 
进而 判断 是 等 腰 三 角形 还 是 等 边 三 角形 。A、B 和 C 均 为 正 整 数 。 根 据 问题 描述 可 以 构造 如 表 
3-11 所 示 的 判定 表 ， 判 定 表 中 共有 8 条 规则 ， 根 据 每 一 条 规则 所 对 应 的 条 件 取 值 ， 选 取 相应 的 
测试 输入 数据 ， 就 可 以 设计 出 判定 表 驱 动 法 测试 用 例 。 


表 3-11 判断 三 角形 类 型 问题 的 判定 表 


序号 7 8 
A+B>C Y 区 
A+C>B 4 让 

条 件 B+C>A Y 至 
A=B N N 
A=C N N 
B=C N 
非 三 角形 
不 等 边 三 角形 V 

i 等 腰 三 角形 V/ 
等 边 三 角形 
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在 应 用 判定 表 驱 动 法 设计 测试 用 例 时 ， 还 需要 注意 默许 规则 和 默许 操作 的 问题 。 下 面 我 们 
通过 一 个 实例 来 说 明 该 问题 。 

如 果 软 件 的 规格 说 明 如 下 : 

(1) 当 条 件 1 和 条 件 2 满足 ， 并 且 条 件 3 和 条 件 4 不 满足 ， 或 者 当 条 件 1、 条 件 3 和 条 件 4 
满足 时 ， 要 执行 操作 1。 

(2) 当 任意 一 个 条 件 都 不 满足 时 ， 执 行 操作 2。 

(3) 当 条 件 1 不 满足 ， 而 条 件 4 满足 时 ， 执 行 操作 3。 

根据 说 明 ， 可 以 构造 如 表 3-12 所 示 的 判定 表 。 规 格 说 明 中 共有 4 个 条 件 ， 判 定 表 只 列 出 了 
16 个 规则 中 与 规格 描述 直接 相关 的 4 个 规则 。 程序 在 实际 执行 时 ， 当 遇 到 除 上 述 4 条 规则 以 外 
的 其 他 规则 时 ， 需 要 执行 默许 的 操作 ， 不 需要 时 可 以 忽略 这 些 规则 。 但 是 用 判定 表 驱 动 法 设计 
测试 用 例 时 ， 就 必须 列 出 这 些 默许 规则 ， 如 表 3-13 所 示 。 


表 3-12 ”根据 规格 说 明 得 到 的 判定 表 


规则 1 规则 4 
条 件 1 1 N 
条 件 2 Y 一 
条 件 3 N 加 
条 件 4 N 各 
操作 1 Y 
操作 2 
操作 3 V 

规则 5 规则 8 
条 件 1 = 党 
条 件 2 a N 
条 件 3 汪 N 
条 件 4 N a 
默许 操作 MY V 


3.4.3 ”适用 范围 及 优 缺 点 


判定 表 驱 动 法 的 优点 是 : 

(1) 能 将 规格 说 明 中 各 种 复杂 逻辑 组 合 情 况 一 一 列举 出 来 ， 直 观 并 且 易 于 理解 ， 便 于 检查 
并 且 能 够 避免 功能 遗漏 。 

(2) 每 个 测试 用 例 可 以 覆盖 多 种 输入 情况 ， 有 利于 提高 测试 效率 。 

(3) 考虑 了 输入 条 件 间 的 约束 关系 ， 因 此 避免 了 无 效 测试 用 例 ， 提 高 了 测试 有 效 性 。 

(4) 能 够 很 方便 地 给 出 每 个 测试 用 例 的 预期 输出 。 

判定 表 驱 动 法 的 缺点 是 : 

(1) 不 能 表达 重复 执行 的 动作 ， 例 如 循环 语句 的 执行 。 
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(2) 当 被 测 特性 较 多 时 ， 判 定 表 的 规模 会 很 庞大 。 

(3) 不 能 有 效 地 确认 某 些 输入 组 合 是 否 必须 测试 ， 会 造成 一 定 的 用 例 元 余 。 

判定 表 适 合 描述 具有 以 下 特征 的 应 用 程序 : 

(1) 程序 中 让 then-else 分 支 逻 辑 较 多 。 

(2) 程序 具有 较 高 的 环 路 复杂 度 。 

(3) 输入 变量 之 间 存 在 逻辑 关系 。 

(4) 涉及 输入 变量 子 集 的 计算 。 

(5) 输入 和 输出 之 间 存 在 因果 关系 。 

适合 采用 判定 表 驱 动 法 设计 测试 用 例 的 条 件 如 下 : 

(1) 规格 说 明 以 判定 表 形式 给 出 ， 或 者 很 容易 转换 成 判定 表 。 

(2) 条 件 和 规则 的 排列 顺序 不 会 影响 执行 哪些 操作 。 

(3) 每 当 某 一 规则 的 条 件 已 经 满足 ， 并 确定 要 执行 的 操作 时 ， 不 必 检 验 别 的 操作 。 

(4) 如 果 某 一 规则 得 到 满足 要 执行 多 个 操作 ， 这 些 操作 的 执行 顺序 无 关 紧 要 。 

上 述 必要 条 件 使 得 操作 的 执行 完全 依赖 于 条 件 的 组 合 。 对 于 不 满足 上 述 条 件 的 判定 表 ， 也 
可 以 采用 判定 表 驱 动 法 设计 测试 用 例 ， 但 是 需要 增加 其 他 的 测试 用 例 作为 补充 。 


因果 图 法 


如 果 程 序 的 输入 条 件 和 动作 之 间 的 逻辑 关系 是 明确 的 ， 可 以 直接 使 用 判定 表 驱 动 法 。 但 是 
如 果 输 入 条 件 和 动作 关系 不 明确 ， 则 应 当先 使 用 因果 图 法 。 所 谓 “ 因 ”， 指 的 就 是 程序 的 输入 
条 件 ; 所 谓 “ 果 ”， 指 的 就 是 程序 的 输出 条 件 。 因 果 图 法 具有 如 下 优点 : 
e 因果 图 法 借助 图 形 ， 能 够 直观 地 分 析 和 表达 输入 的 各 种 组 合 关系 、 约 束 关系 以 及 每 种 
组 合 条 件 下 的 输出 结果 。 
e 采用 因果 图 法 ， 不 仅 可 以 发 现 输入 和 输出 中 的 错误 ， 而 且 能 够 发 现 规格 说 明 中 存在 的 
不 完整 性 和 二 义 性 问题 。 
但 是 ， 因 果 图 法 也 存在 着 一 定 的 局 限 性 。 程 序 输入 与 输出 之 间 的 因果 关系 有 时 难以 从 规格 
说 明 中 直接 得 到 。 当 输入 条 件 很 多 时 ， 测 试用 例 的 数量 会 很 大 ， 会 造成 测试 工作 量 大 和 用 例 不 
便于 维护 的 问题 ， 需 要 根据 实际 情况 尽量 精简 输入 条 件 的 个 数 。 


3.5.1 因果 图 法 的 原理 


因果 图 是 一 种 形式 化 的 图 形 语言 ， 通 过 图 形 记号 将 自然 语言 规格 说 明 转 变 成 形式 化 语言 规 
格 说 明 ， 能 够 严格 地 表达 程序 输入 和 输出 的 逻辑 关系 。 

1) 因果 图 的 表达 形式 

图 3-5 给 出 了 用 于 表示 规格 说 明 中 4 种 基本 因果 关系 的 图 形 符号 ， 描 述 了 输入 条 件 之 间 的 
逻辑 关系 。 每 一 种 逻辑 符号 分 为 左右 节点 ， 以 直线 相连 。 左 节点 Ci 表示 原因 (输入 状态 )， 右 节 
点 五 表示 结果 (输出 状态 )。 原因 和 结果 节点 都 可 以 取 布 尔 值 0 或 1, 0 表示 条 件 不 成 立 或 状态 不 
出 现 ，1 表示 条 件 成 立 或 状态 出 现 。 
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(@) 或 (d) 与 
3-5 ”因果 图 的 基本 图 形 符号 


4 种 基本 因果 罗 辑 关系 的 含义 分 别 如 下 。 

e 恒 等 ， 如果 原因 出 现 ， 则 结果 出 现 ， 如 果 原 因 不 出 现 ， 则 结果 也 不 出 现 。 

。 非 (~~): 如 果 原 因 出 现 ， 则 结果 不 出 现 ， 如 果 原 因 不 出 现 ， 则 结果 出 现 。 

e 或 (V): 如 果 几 个 原因 中 有 一 个 出 现 ， 则 结果 出 现 ， 如 果 几 个 原因 都 不 出 现 ， 则 结果 不 


出 现 。 
e@ 与 (人 ): 如 果 几 个 原因 都 出 现 ， 那 么 结果 才 会 出 现 ， 如 果 几 个 原因 中 有 一 个 不 出 现 ， 那 
么 结果 就 不 会 出 现 。 


在 实际 问题 中 , 输入 条 件 之 间 、 输 出 条 件 之 间 往 往 存在 着 某 些 依赖 关系 ,我们 称 之 为 约束 。 
例如 ， 某 些 输入 条 件 不 可 能 同时 出 现 。 因 果 图 在 基本 图 形 符号 的 基础 上 ， 采 用 一 些 特定 的 符号 

图 3-6(a) 一 图 3-6(d) 分 别 给 出 了 4 种 输入 条 件 之 间 的 约束 关系 ， 图 3-6(e) 是 一 种 输出 条 件 之 
间 的 约束 关系 ， 它 们 的 含义 分 别 如 下 。 

e 了 E( 互 斥 ): 表示 C1 和 C2 两 个 原因 不 会 同时 成 立 ， 两 个 原因 中 最 多 有 一 个 可 能 成 立 。 

e@ 工 包含 ): 表示 Ci、C2 和 C3 三 个 原因 中 至 少 有 一 个 必须 成 立 。 

e O( 唯 一 ): 表示 C1 和 C2 两 个 原因 中 必须 有 一 个 且 仅 有 一 个 成 立 。 

e@ 有 (要求 ): 表示 当 Ci 出 现时 ，C2 也 必须 出 现 ， 即 Cl 是 1 时 ，C2> 也 必须 是 1 。 

e M( 强 制 )， 表 示 当 结果 El 是 1 时 ， 结 果 E2 必须 是 0。 


E \ 和 SS O \ R \ | M 
SN 共 \ 1/ 
BB (©) “© © 国 
人) E( 互 让) 人 D)I 包 合 ) (OO) 四 R( 要 求 ) 。。。(@) M( 强 制 ) 


图 3-6 因果 图 的 约束 符号 


TT、 


2) 利用 因果 图 法 设计 测试 用 例 的 步骤 

利用 因果 图 设计 测试 用 例 需要 经 过 以 下 几 个 步骤 。 

e 分 析 软 件 的 规格 说 明 ， 确 定 哪些 是 原因 ( 即 输入 条 件 或 输入 条 件 的 等 价 类 )， 哪 些 是 结果 
( 即 输出 条 件 )， 给 每 一 个 原因 和 结果 赋予 标识 符 。 

e 分 析 软 件 规格 说 明 中 的 语义 信息 ， 确 定 原因 与 结果 之 间 、 原 因 与 原因 之 间 对 应 的 逻辑 
关系 ， 然 后 根据 这 些 关 系 画 出 因果 图 。 

e 在 因果 图 上 标明 约束 。 由 于 语法 或 环境 的 限制 ， 有 些 原因 和 结果 的 组 合 情 况 是 不 可 能 
出 现 的 。 为 了 表明 这 些 特殊 情况 ， 在 因果 图 上 通过 标准 的 符号 标明 约束 条 件 。 

。 将 因果 图 转换 为 判定 表 。 

e 根据 判定 表 的 每 一 条 规则 设计 测试 用 例 。 

因果 图 法 的 分 析 结果 就 是 判定 表 ， 之 后 设计 测试 用 例 的 方法 和 判定 表 驱 动 法 是 一 致 的 。 因 

此 可 知 ， 因 果 图 法 更 适合 规格 说 明 中 输入 输出 逻辑 复杂 和 描述 不 清晰 的 情况 。 对 于 简单 清晰 的 

条 件 组 合 与 逻辑 关系 ， 可 直接 使 用 判定 表 驱 动 法 。 


3.5.2 ”因果 图 法 应 用 实例 


软件 规格 说 明 要 求 如 下 : 第 一 列 字 符 必须 是 A 或 B， 第 二 列 字符 必须 是 数字 ， 在 此 情况 下 
进行 文件 的 修改 。 但 是 如 果 第 一 列 字 符 不 正确 ， 则 给 出 信息 工 ， 如 果 第 二 列 字符 不 是 数字 ， 则 


给 出 信息 M。 
根据 以 上 规格 说 明 内 容 ， 可 以 分 析出 如 下 原因 和 结果 。 


1] 一 一 第 一 列 字符 是 A; 

2 一 一 第 一 列 字 符 是 B; 

3 一 一 第 二 列 字 符 是 数字 。 

结果 : 

21 一 一 修改 文件 ; 

22 一 一 给 出 信息 工 ; 

23 一 一 给 出 信息 M。 

根据 分 析出 的 原因 和 结果 可 以 绘制 出 如 图 3-7 所 示 的 因果 图 。 图 3-7 中 ，11 是 中 间 原 因 。 
因为 原因 1 和 原因 2 不 可 能 同时 为 1， 即 第 一 个 字符 不 可 能 既是 A 又 是 B， 因 此 在 因果 图 上 对 
它们 施加 王 约束 。 


图 3-7 因果 图 
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由 图 3-7 所 示 的 因果 图 ， 可 以 得 到 表 3-14 所 示 的 判定 表 。 由 于 原因 1 和 原因 2 互 斥 ， 因 此 


规则 1 和 规则 2 无 效 ， 只 需要 设计 剩 下 的 6 个 规则 所 对 应 的 测试 用 例 。 


表 3-14 判定 表 
序号 6 E 
1 0 0 0 
原因 2 1 1 0 0 
3 . 0 1 0 
中 间 原 因 11 1 0 0 
22 0 1 
结果 21 0 0 0 
23 1 0 1 
测试 用 例 BD F4 UR 
B? S9 W! 


下 面 我 们 再 来 看 一 个 更 为 复杂 的 因果 图 法 应 用 实例 。 


有 一 个 旅馆 住宿 系统 可 以 为 游客 办 理 住宿 交 费 、 房 间 选 择 和 房间 管理 任务 ， 软 件 规格 说 明 
要 求 如 下 : 当 游 客 支付 预期 入 住 天 数 内 所 有 房 款 或 者 仅 支付 住宿 押金 后 ， 可 以 选择 “ 单 人 间 ” 
“标准 间 ” 或 “三 人 间 ”， 然 后 相应 类 型 的 房间 被 开启 。 如 果 游 客 仅 支付 押金 ， 则 在 开启 房间 的 
同时 ， 系 统 提示 房 款 支付 不 足 。 作 为 实例 ， 这 里 对 实际 需求 进行 了 简化 ， 忽 略 了 房间 的 状态 ， 
即 系统 默认 各 类 房间 资源 始终 保持 充足 的 状态 。 


根据 以 上 规格 说 明 内 容 ， 可 以 分 析出 如 下 原因 和 结果 。 


。 原因 : 1- 支 付 全 款 ，2- 支 付 押金 ，3- 选 择 单 人 间 ，4- 选 择 标准 间 ，5- 选 择 三 人 间 。 
e 中 间 原 因 : 11- 已 支付 房 款 ，12- 已 选择 房间 。 
e 结果: 21- 提 示 房 款 支付 不 足 ，22- 打 开 某 单 人 间 ，23- 打 开 某 标准 间 ，24- 打 开 某 三 人 间 。 


根据 原因 和 结果 ， 可 以 得 到 如 图 3-8 所 示 的 因果 图 。 


支付 押金 


选择 单 人 间 


选择 标准 间 


选择 三 人 间 


图 3-8 旅馆 住宿 系统 因果 图 


提示 


打 玫 


房 款 支 付 不 足 


F 某 单 人 间 


开 某 标准 间 


开 某 三 人 间 


将 因果 图 转换 为 如 表 3-15 所 示 的 判定 表 ， 根 据 每 一 列 规则 设计 相应 的 测试 用 例 。 
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表 3-15 旅馆 住宿 系统 判定 表 


1 
4 
原因 3 | 选择 单 人 间 
4 
5 


选择 三 人 间 


11 | 已 支付 房 款 


中 间 原 因 | 12 | 已 选 择 房间 


21 | 提示 房 款 支付 不 足 


22 | 打开 某 单 人 间 


23 | 打开 某 标准 间 
24 | 打开 某 三 人 间 


节 ] 正 交 实验 法 


如 何 用 较 少 的 测试 用 例 取得 最 佳 的 测试 效果 是 软件 测试 研究 的 重点 之 一 。 软 件 的 正确 运行 
可 能 受到 多 种 条 件 因素 的 影响 ， 每 一 种 条 件 因素 往往 又 具有 多 种 可 能 的 取 值 。 从 测试 时 间 和 成 
本 考虑 ， 对 条 件 因 素 及 其 取 值 的 所 有 组 合 情 况 进行 全 面 测试 往往 是 不 现实 的 。 例 如 ， 某 个 软件 
模块 有 6 个 输入 参数 ， 每 个 输入 参数 取 4 个 值 进行 全 面 测试 ， 需 要 设计 和 执行 4=4096 个 测试 
用 例 。 

针对 这 种 情况 ， 经 常 采用 正 交 实验 法 来 设计 测试 用 例 ， 用 部 分 实验 代替 全 面 实验 ， 从 大 量 
的 输入 数据 组 合 中 挑选 出 适量 有 代表 性 的 、 典 型 的 数据 组 合 进行 测试 ， 合 理 与 全 面 地 覆盖 条 件 
因素 及 其 取 值 情况 ， 精 简 测 试用 例 的 数量 ， 用 最 低 的 测试 成 本 得 到 尽 可 能 好 的 测试 效果 。 


3.6.1 ” 正 交 实验 法 的 基本 原理 


正 交 实验 法 又 称 为 正 交 实验 设计 法 ， 是 根据 伽 瓦 罗 (Galois) 理 论 ， 研 究 与 处 理 多 因素 实验 的 
-种 科学 方法 。 正 交 实验 法 利用 已 有 的 规格 化 的 “ 正 交 表 ”， 从 大 量 的 实验 点 中 挑选 出 适量 的 、 
有 代表 性 的 点 ， 合 理 地 安排 实验 ， 用 较 少 的 实验 次 数 ， 取 得 较为 准确 和 可 靠 的 实验 结果 。 

下 面 通过 一 个 例子 来 说 明正 交 实 验 法 的 基本 原理 。 

为 了 提高 某 化 工 产品 的 转化 率 ， 选 择 3 个 影响 转化 率 的 因素 进行 条 件 实验 : 反应 温度 (A)、 
反应 时 间 (B)、 用 碱 量 (C)。 分 别 确定 3 个 实验 因素 的 取 值 范围 如 下 。 

® A: 80~90C 

e@ B: 90 一 150 分钟 

® C: 5%~7% 

实验 的 目的 是 确定 因素 A、B、C 对 转化 率 有 什么 影响 ， 从 而 确定 最 适当 的 生产 条 件 ， 即 
温度 、 时 间 和 用 碱 量 各 为 多 少 才能 取得 最 好 的 转化 率 。 实 验 设计 过 程 如 下 。 

在 正 交 实 验 法 中 ， 将 影响 实验 结果 的 条 件 因素 称 为 因子 ， 而 把 各 个 因子 的 取 值 作为 状态 ， 
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状态 数 称 为 水 平 数 。 设 计 正 交 实验 时 ， 需 要 确定 

e 实验 中 有 哪些 因子 ， 因 子 数 是 多 少 ? 

。 每 个 因子 有 哪些 取 值 ， 其 水 平 数 是 多 少 ? 

在 上 面 的 例子 中 ， 对 A、B、C 这 3 个 实验 因子 各 取 3 个 水 平 值 ， 分 别 如 下 。 

® A: Al=80C, As=85'C, As-=90'C 

e。 B: Bl 二 90 分 ，B: 王 120 分 ， Bs=150 分 

® C: C=5%, C=6%, C3=7% 

在 正 交 实验 设计 中 ， 因 子 的 水 平 值 可 以 是 定量 的 ， 也 可 以 是 定性 的 。 定 量 因子 各 水 平 值 之 
间 的 距离 可 以 相等 ， 也 可 以 不 相等 。 

对 于 上 面 的 例子 ， 可 以 有 全 面 实验 法 、 简 单 对 比 法 和 正 交 实 验 法 三 种 实验 方法 。 

1) 全 面 实验 法 

全 面 实验 法 就 是 对 所 有 因子 的 水 平 进行 完全 组 合 ， 对 每 一 种 组 合 情 况 一 一 进行 实验 。 上 面 
的 例子 是 一 个 3 因子 3 水 平 的 实验 ， 需 要 完成 3=27 次 实验 。 直 观 来 看 ， 这 27 个 实验 点 对 应 的 
是 如 图 3-9(a) 所 示 的 立方 体 的 27 个 点 。 

全 面 实验 法 的 优点 是 实验 全 面 ， 对 因子 和 实验 结果 的 关系 反映 得 非常 清楚 ， 缺 点 是 要 求 的 
实验 次 数 太 多 。 对 于 m 个 因子 n 个 水 平 的 实验 ， 总 的 实验 次 数 为 n*。 当 因子 数量 和 各 因子 水 
平 数 都 很 多 时 ， 实 验 量 过 大 以 致 无 法 实现 。 

2) 简单 对 比 法 

简单 对 比 法 又 称 为 孤立 因素 法 。 实 验 中 ， 只 变化 一 个 因素 而 固定 其 余 因 素 ， 然 后 逐步 得 到 
好 的 组 合 方案 。 例 如 对 于 上 面 的 例子 ， 首 先 将 因子 B 和 C 固定 于 Bi1 和 C1， 只 变化 因子 A， 得 
到 如 下 3 个 实验 点 : A1B1C1、A2B1iC1!、AsBiC1。 

假设 上 述 3 个 实验 中 AsBiC 的 结果 最 好 ， 即 产品 的 转化 率 最 高 ， 则 接 下 来 固定 因子 A 于 
As, 因子 C 仍然 固定 于 C1, 只 变化 因子 B, 得 到 如 下 3 个 实验 点 : A3B1C1( 重 复 实验 点 )、 A3B2C1、 
AsBiCi。 

上 述 实验 点 中 ，A3B1Ci 已 经 实验 过 ， 因 此 只 需要 完成 其 他 两 个 实验 点 。 假 设 上 述 实验 中 ， 
AsB2C1 的 结果 最 好 ， 则 接 下 来 固定 因子 A 于 As， 固 定 因子 B 于 B,，， 只 变化 因子 C， 得 到 如 下 
3 个 实验 点 : A3B2C1( 重 复 实验 点 )、A3B;C2、A3B2C3。 

如 果 上 述 实 验 中 A3B2C; 的 结果 最 好 ， 则 认为 这 种 因素 取 值 组 合 具 有 最 好 的 转化 率 。 

上 面 的 简单 对 比 法 实验 方案 在 实验 点 不 重复 时 ， 只 用 了 如 图 3-9b) 所 示 的 7 个 实验 点 。 在 
实验 不 重复 、 各 因子 水 平 数 相同 时 ， 简 单 对 比 法 的 实验 次 数 为 

水 平 数 {( 因 子 数 - DX( 水 平 数 - D) 

例如 6 因子 5 水 平 的 实验 ,在 不 重复 时 ， 只 需要 5H(6 - 1)X(5 - 1)=25 次 实验 就 可 以 了 。 如 
果 采 用 完全 实验 法 ， 则 需要 5 生 15625 次 实验 。 

简单 对 比 法 一 般 也 可 以 取得 一 定 的 实验 效果 ， 其 最 大 的 优点 是 实验 次 数 很 少 。 但 是 这 种 方 
法 的 缺点 是 实验 点 的 分 布 不 够 均匀 ， 往 往 在 一 个 很 大 的 范围 内 没有 实验 点 ， 说 明 实验 的 代表 性 
不 是 很 好 ， 因 此 不 能 客观 地 反映 全 部 实验 点 的 情况 ， 最 终 选择 出 的 组 合 情 况 不 一 定 是 所 有 组 合 
中 最 好 的 ， 很 可 能 存在 较 大 的 偏差 。 先 固定 哪个 因素 ， 后 变化 哪个 因素 ， 都 会 影响 实验 结果 。 

3) 正 交 实验 法 
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正 交 实 验 法 兼顾 上 面 两 种 方法 的 优点 ， 同 时 又 克服 它们 的 缺点 。 正 交 表 LeG39 如 表 3-16 所 


示 ， 其中, 工 代表 正 交 表 ，4 是 因子 数 ， 即 正 交 表 的 列 数 ，3 是 因子 的 水 平 数 ，9 是 实 


验 的 次 数 ， 


即 正 交 表 的 行 数 。 通 过 选择 合适 的 正 交 表 Le039， 可 以 安排 如 表 3-17 所 示 的 9 次 实验 ， 这 9 个 


实验 点 如 图 3-9(c) 所 示 。 


B; B; 
a a 
C3 C3 
本 
Bg 0 Bg 
Al A As Al A As Al A As 
(a) 全 面 实验 法 (b) 简单 对 比 法 (9 正 交 实验 法 
3-9 三 种 实验 设计 方法 的 对 比 
表 3-16 正 交 表 Le(34) 表 3-17 正 交 实验 方案 
列 号 A B 实验 因子 
四 1 > 时 间 加 碱 量 
行 号 (分 ) (%) 
i | 
2 1 |2 | ac |w | | 
3 3 150 7 
4 2 |1 85 90 6 
5 2 |2 85 120 
2 | 10 | 5 
3 1 90 7 
8 学 2 120 条 
人 3 3 150 6 


从 图 3-9(c) 可 以 明显 看 出 , 9 个 实验 点 均匀 分 布 在 立方 体 的 各 个 部 分 , 任何 水 平面 或 垂直 面 


都 有 3 个 点 且 仅 有 3 个 点 ， 而 且 任何 一 条 线 上 只 有 一 个 点 。 因 此 ， 正 交 实 验 法 能 够 反映 全 


验 的 情况 ， 在 一 定 意义 上 代表 了 全 面 实 验 ， 并 且 实 验 次 数 大 幅 减 少 。 
根据 正 交 表 安排 实验 时 ， 只 需要 把 每 一 个 实验 因子 分 别 对 应 于 正 交 表 的 一 列 。 需 要 注意 的 


匹 ， 


面 实 


是 ， 一 个 因子 对 应 一 列 ， 不 能 使 两 个 因子 对 应 同一 列 。 例 如 ， 在 表 3-16 中 ， 因 子 A、B、C 可 


以 任意 对 应 正 交 表 Le(39 的 某 3 列 ， 本 实验 选择 开始 的 3 列 分 别 与 3 个 因子 相对 应 。 然 后 ， 把 
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实验 项 不 考虑 正 交 表 中 没有 安排 因子 的 列 。 

上 面 的 例子 说 明 ， 正 交 实验 法 是 一 种 适合 研究 与 处 理 多 因素 、 多 水 平 试 验 的 科学 方法 。 根 
据 正 交 性 原理 ， 通 过 选择 合适 的 正 交 表 ， 从 全 面 实验 点 中 挑选 出 部 分 有 代表 性 的 实验 点 ， 选 出 
的 实验 点 具有 “均匀 分 布 ， 整 齐 可 比 ” 的 特点 。“ 均 匀 分 布 ”性 使 实验 点 能 均衡 地 分 布 在 实验 
数据 范围 内 ， 使 每 个 实验 点 有 充分 的 代表 性 ; “整齐 可 比 ”性 方便 对 实验 结果 的 分 析 ， 可 以 估 
计 各 因素 对 最 终 实验 结果 的 影响 ， 找 出 影响 实验 结果 的 主要 因素 。 


3.6.2 ” 正 交 表 及 其 选择 方法 


上 面 的 例子 中 已 经 用 到 了 正 交 表 ， 在 这 里 ， 对 正 交 表 及 其 选择 方法 进行 详细 介绍 。 
正 交 表 是 正 交 实验 设计 的 基本 工具 ， 是 在 运用 数学 理论 的 基础 上 构造 出 的 一 些 规范 化 的 表 
格 ， 形 式 为 : L xxg( 水 平 数 呈 鸭 。 
e L: 代表 正 交 表 。 
e 实验 次 数 : 某 一 正 交 表 所 安排 的 实验 次 数 ， 即 该 正 交 表 的 行 数 ， 也 是 用 正 交 实验 法 设 
计 出 的 测试 用 例 数量 。 
e@ 水 平 数 ， 任 何 单个 因子 能 够 取得 的 值 的 最 大 个 数 。 
@ 因子 数 : 正 交 表 最 多 可 以 安排 的 因子 个 数 ， 即 正 交 表 的 列 数 ， 也 是 用 正 交 实验 法 设计 
测试 用 例 时 ， 所 能 处 理 的 变量 的 最 大 个 数 。 
常用 的 正 交 表 有 Ls(2”)、Lo(3)、L1i6(45))、Ls(4X2)、Li2(3 X24 和、Lie(44X23) 等 。 正 交 表 可 
以 分 为 两 种 ， 分 别 是 等 水 平 正 交 表 和 混合 水 平 正 交 表 。 等 水 平 正 交 表 中 各 因子 的 水 平 数 相 同 
混合 水 平 正 交 表 中 ,， 某 些 因子 的 水 平 数 会 与 其 他 因子 的 水 平 数 不 同 。 例 如 ，Le(39 是 等 水 平 正 交 
表 ，4 个 因子 中 每 个 因子 都 取 3 个 水 平 ; Ls4X249) 是 混合 水 平 正 交 表 ， 如 表 3-18 所 示 ， 包 含 1 
个 4 水 平 列 和 4 个 2 水 平 列 ， 共 有 5 列 ， 最 多 可 以 安排 5 个 因子 。 


表 3-18 混合 水 平 正 交 表 Ls(4 X24) 


序号 四 
1 1 
2 2 
a 2 
4 1 
各 2 
6 
1 
8 2 


可 以 从 一 般 的 数理 统计 书 中 查找 正 交 表 ， 也 可 以 参考 https://www.york.ac.uk/depts/maths/ 
tables/orthogonal.htm 或 https://blog.csdn.net/julielele/article/details/77751825。 正 交 实验 法 之 所 以 能 
用 较 少 的 实验 数 覆 盖 全 面 的 实验 因素 ， 是 因为 正 交 表 有 如 下 3 个 性 质 。 

(1) 正 交 性 。 在 正 交 表 的 任何 一 列 中 ， 各 水 平 都 以 相同 的 次 数 出 现 ， 任 何 两 列 之 间 各 种 不 
同 水 平 的 所 有 可 能 组 合 都 会 出 现 ， 且 出 现 次 数 相同 。 
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(2) 代表 性 。 正 交 表 的 正 交 性 保证 了 部 分 实验 中 包含 所 有 因素 的 所 有 水 平 ， 并 且 使 得 任意 
因素 的 所 有 水 平 信息 及 其 组 合 信息 无 一 遗漏 ， 因 此 可 以 代表 全 面 实验 。 

(3) 综合 可 比 性 。 正 交 表 的 正 交 性 使 得 任意 因素 各 水 平 的 实验 条 件 相 同 ， 因 此 对 于 某 一 因 
素来 讲 ， 最 大 限度 地 排除 了 其 他 因素 的 干扰 ， 从 而 可 以 综合 比较 该 因素 不 同 水 平 对 实验 结果 的 
影响 程度 。 

根据 正 交 表 的 因子 数 和 水 平 数 可 以 计算 出 实验 次 数 : 

实验 次 数 ( 行 数 广 并 (每 列 水 平 数 - 1)+1 

例如 对 于 正 交 表 Lo(34)， 实 验 次 数 =4X (3-1)+1=9; 对 于 正 交 表 Ls(4X24)， 实 验 次 数 =1x(4 
- D+4X( - D+l=8。 利 用 上 述 关 系 式 可 以 从 所 要 考查 的 因子 及 其 水 平 数 决定 最 低 的 实验 次 数 ， 
进而 选择 合适 的 正 交 表 。 例 如 ， 要 考查 5 个 3 水 平 因子 以 及 一 个 2 水 平 因 子 ， 则 最 少 的 实验 次 
数 为 5x(3 - D)+1x(2 - 1D+1 二 12。 也 就 是 说 ， 要 在 行 数 不 小 于 12， 既 有 2 水 平 列 又 有 3 水 平 列 
的 正 交 表 中 选择 ， 因 此 选择 Lis(2x3”) 最 为 适合 。 

从 标准 正 交 表 中 选择 合适 的 正 交 表 时 ， 需 要 考虑 不 同 的 情况 。 例 如 ， 因 子 数 和 水 平 数 与 正 
交 表 完全 匹配 、 因 子 数 或 水 平 数 与 正 交 表 不 同 、 因 子 数 和 水 平 数 与 正 交 表 都 不 相同 ， 等 等 。 一 
般 来 说 ， 当 不 考虑 因素 间 的 交互 作用 时 ， 选 择 正 交 表 首先 需要 满足 正 交 表 的 列 数 要 大 于 或 等 于 
已 确定 实验 因子 数 这 一 条 件 。 也 就 是 说 ， 如 果 因子 数 不 同 ， 应 当 采 用 正 交 表 列 数 包含 的 方法 ， 
从 符合 列 数 条 件 的 正 交 表 中 选择 行 数 最 少 的 那个 正 交 表 , 使 得 实验 次 数 最 少 。 如 果 水 平 数 不 同 ， 
应 当 采 用 包含 和 组 合 的 方法 ， 选 取 能 够 安排 下 各 因子 水 平 数 的 最 为 合适 的 正 交 表 。 


3.6.3” 正 交 实 验 法 的 设计 步骤 与 实例 


通过 正 交 实 验 法 设计 测试 用 例 的 主要 步骤 如 下 : 

(1) 确定 因素 。 根 据 软件 规格 说 明 书 ， 对 软件 模块 进行 分 析 ， 确 定 影响 运行 结果 的 因素 。 
因素 一 般 情 况 下 是 指 软件 的 输入 以 及 运行 环境 。 如 果 因 素 太 多 并 且 测 试 资源 有 限 ， 可 以 根据 专 
业 知识 和 实践 经 验 对 因素 的 重要 性 进行 排序 ， 去 除 对 软件 运行 结果 影响 不 大 的 因素 ， 将 最 终 测 
试用 例 数量 控制 在 允许 范围 之 内 。 

(2) 确定 每 个 因素 的 水 平 。 通 过 分 析 软 件 规格 说 明 书 ， 找 出 因素 的 取 值 范围 或 集合 。 采 用 
等 价 类 划分 、 边 界 值 分 析 和 其 他 软件 测试 技术 方法 ， 从 因素 的 取 值 范围 或 集合 中 挑选 出 具有 代 
表 性 的 测试 点 ， 确 定 各 因素 的 取 值 ， 即 因素 的 水 平 。 必 要 时 ， 可 以 对 因素 的 水 平 按照 重要 程度 
进行 取舍 。 

(3) 选择 正 交 表 。 根 据 因子 数 和 水 平 数 选择 实验 次 数 最 少 的 最 合适 的 正 交 表 。 

(4) 生成 测试 用 例 。 将 每 一 个 测试 因子 分 别 对 应 于 所 选 正 交 表 的 一 列 ， 将 这 些 列 中 的 数字 
映射 为 对 应 测试 因子 的 水 平 取 值 。 必 要 时 对 正 交 表 进行 裁剪 ， 裁 剪 的 方法 是 将 正 交 表 中 多 出 的 
因素 列 删 除 ， 将 剩余 列 中 多 出 的 水 平 用 相应 测试 因子 的 任意 水 平 值 代替 ， 合 并 可 能 出 现 的 相同 
水 平 组 合 项 。 最 后 ， 将 每 一 行 的 各 因子 水 平 的 组 合作 为 测试 用 例 。 

(5) 适当 补充 。 根 据 经 验 添加 一 些 没 有 生成 但 是 有 价值 的 测试 用 例 作 为 补充 。 

接 下 来 ， 通 过 以 下 两 个 实例 ， 有 具体 说 明 根据 正 交 实验 法 设计 测试 用 例 的 方法 。 

1) 人 员 查 询 功能 的 测试 用 例 设计 

查询 功能 是 大 多 数 软件 中 经 常 出 现 的 功能 。 例 如 ， 需 要 对 某 人 进行 查询 ， 假 设 查询 时 有 3 


两 


之 
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个 独立 的 查询 条 件 : 姓名 、 身 份 证 号 、 手 机 号 码 。 根 据 这 些 查询 条 件 获得 特定 人 员 的 详细 信息 。 
人 员 查 询 功能 有 3 个 因子 。 考 虑 每 个 查询 条 件 要 么 填写 ， 要 么 不 填写 ， 即 每 个 因子 的 水 平 
数 都 是 2。 选 择 合适 的 正 交 表 时 ， 根 据 正 交 表 中 的 因子 数 大 于 或 等 于 3， 正 交 表 中 至 少 有 3 个 因 
子 的 水 平 数 大 于 或 等 于 2， 正 交 表 的 行 数 取 最 少 的 那个 ， 选 择 正 交 表 L423)， 如 表 3-19 所 示 。 
设计 测试 用 例 时 ，3 个 查询 条 件 分 别 对 应 表 3-19 中 的 因子 1、2、3， 表 3-19 中 的 数字 1 映 
射 为 填写 ， 数 字 2 映射 为 不 填写 ， 得 到 表 3-20 所 示 的 4 个 基本 测试 用 例 。 考 虑 特殊 情况 ， 补 充 
一 个 3 个 查询 条 件 都 不 填写 的 测试 用 例 ， 最 终生 成 一 个 由 5 个 测试 用 例 构 成 的 测试 集 。 


表 3-19 正 交 表 L4(23) 表 3-20 人员 查 询 测试 用 例 


2) 软件 兼容 性 测试 用 例 设计 

正 交 实验 法 在 兼容 性 测试 中 经 常会 被 用 到 ， 被 测 软件 需要 考虑 与 其 他 硬件 系统 和 软件 系统 
的 兼容 性 。 如 果 只 考虑 与 其 他 软件 的 兼容 性 ， 一 般 都 会 测试 与 常用 操作 系统 、 浏 览 器 、 杀 毒 软 
件 等 的 兼容 性 。 另 外 ， 还 需要 考虑 在 不 同 屏幕 分 辨 率 下 ， 软 件 界面 的 正常 显示 问题 。 由 于 操作 
系统 有 很 多 种 ， 各 自 双 有 不 同 的 版 本 ， 浏 览 器 和 杀毒 软件 也 存在 同样 的 情况 。 如 果 一 一 对 它们 
的 组 合 进行 测试 ， 测 试用 例 数 会 非常 庞大 。 在 表 3-21 中 , 给 出 了 简化 的 软件 兼容 性 测试 因子 及 
其 水 平 数 。 


表 3.21 简化 的 软件 兼容 性 测试 因子 及 其 水 平 数 
水 平 数 D 杀毒 软件 
1 D1 360 杀 毒 
D2 金山 毒霸 
3 
4 | |Bb A | | 


表 3-21 中 包含 4 个 因子 ,各 因子 的 水 平 数 各 不 相同 。 由 于 水 平 数 不 同 , 采用 包含 和 组 合 的 
方法 选择 最 为 合适 的 正 交 表 ， 具 体 来 说 ， 合 适 的 正 交 表 需 要 满足 如 下 一 些 条 件 : 
e ， 正 交 表 中 的 因子 数 过 4; 
正 交 表 中 至 少 有 1 个 因子 的 水 平 数 过 4; 
另外 的 因子 中 至 少 有 2 个 因子 的 水 平 数 宇 3; 
其 余 的 因子 中 至 少 有 1 个 因子 的 水 平 数 宇 2; 
行 数 取 最 少 的 那个 。 
因此 ， 最 后 选择 正 交 表 Lie(4”)， 如 表 3-22 所 示 。 然 后 ， 将 所 选 正 交 表 转换 为 如 表 3-23 所 
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示 的 测试 用 例 。 正 交 表 中 的 第 5 列 未 使 用 ， 表 3-23 中 的 符号 “一 ”表示 可 以 选择 该 因子 的 任何 
水 平 值 。 通 过 正 交 实验 法 ， 将 测试 用 例 的 数量 从 3X4X3X2=72 降 为 16， 大 幅 减少 了 测试 工 
作 量 。 


表 3-22 正 交 表 Li6(45) 表 3.23 软件 兼容 性 测试 用 例 

D 

D1 

D2 

有 全 
了 
A2 D1 
D2 
A3 Bl = 
A3 B2 = 
A3 B3 D2 
Di 
[|- |B | D2 
Di 
ne 
[|- |a | - 


场景 法 是 软件 测试 中 常用 的 一 种 方法 ， 主 要 用 于 测试 软件 的 业务 过 程 或 业务 逻辑 ， 是 一 种 
基于 软件 业务 和 用 户 行为 的 测试 方法 。 提 出 这 种 测试 思想 的 是 Rational 公司 ， 并 在 RUP 2000 
中 文 版 中 进行 了 详尽 的 解释 。 


3.7.1 场景 法 的 基本 概念 


前 面 讨论 的 测试 方法 主要 侧重 于 数据 的 选择 ， 不 涉及 操作 步 又， 无 法 对 涉及 用 户 操作 的 动 
态 执行 过 程 进 行 测试 覆盖 。 当 在 系统 功能 层面 上 进行 测试 时 ， 不 仅 涉及 测试 数据 的 问题 ， 更 重 
要 的 是 如 何 从 系统 整个 业务 流程 的 全 局 角度 对 系统 进行 测试 。 场 景 法 运用 场景 对 系统 的 功能 点 
或 业务 流程 进行 描述 , 然后 设计 测试 用 例 , 从 而 提高 了 对 系统 主要 功能 和 业务 流程 的 测试 效果 。 

现在 的 软件 几乎 都 是 用 事件 触发 来 控制 流程 的 。 用 户 经 常会 以 不 同 的 步骤 操作 软件 ， 因 而 
引发 不 同 的 事件 触发 顺序 和 软件 处 理 结果 ， 事 件 触发 时 的 情景 便 形成 了 场景 。 场 景 也 可 以 通俗 
地 理解 为 是 由 “哪些 人 、 什 么 时 间 、 什 么 地 点 、 做 什么 以 及 如 何 做 ”等 要 素 组 成 的 一 系列 相关 
活动 ， 主 要 表明 了 用 户 执行 系统 的 操作 序列 。 通 过 场景 可 以 描述 和 模拟 出 在 不 同情 况 下 ， 所 有 
系统 功能 点 和 业务 流程 的 执行 情况 。 


La _ 
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场景 的 概念 与 描述 软件 功能 的 用 例 模型 紧密 相关 。 用 例 模型 描述 了 软件 系统 的 外 部 行为 者 
(通常 是 一 些 典 型 用 户 ) 所 理解 的 系统 功能 ， 用 例 经 常 被 用 来 捕获 系统 需求 。 每 个 用 例 提供 了 一 
个 或 多 个 场景 ， 场 景 是 用 例 的 实例 ， 是 特定 用 户 以 特定 方式 执行 用 例 的 过 程 ， 揭 示 了 系统 是 如 
何 同 最 终 用 户 或 其 他 系统 交互 的 ， 反 映 了 系统 的 业务 流程 ， 明 确 了 系统 业务 功能 的 主要 目标 。 
通过 场景 , 可 以 生动 地 描绘 出 用 户 使 用 软件 的 过 程 以 及 主要 的 业务 流程 , 方便 测试 用 例 的 设计 ， 
同时 也 使 测试 用 例 易于 理解 和 执行 ， 达 到 较 好 的 需求 覆盖 。 

场景 法 适合 测试 业务 流程 清晰 的 系统 或 功能 。 最 终 用 户 希 望 软件 能 够 实现 其 业务 需求 ， 而 
不 只 是 简单 的 功能 组 合 。 对 于 单个 功能 ， 利 用 等 价 类 、 边 界 值 、 判 定 表 等 方法 能 够 解决 大 部 分 
测试 问题 。 但 是 涉及 对 业务 流程 的 测试 ， 采 用 场景 法 比较 合适 。 一 般 是 在 验证 单 点 功能 后 ， 再 
通过 场景 法 对 业务 流程 进行 验证 。 


3.7.2 ”基本 流 和 备 选 流 


场景 法 一 般 包括 基本 流 和 备 选 流 ， 如 图 3-10 所 示 。 从 一 个 业务 流程 开始 ， 图 3-10 中 经 过 
用 例 的 每 条 路 径 都 可 以 用 基本 流 和 备 选 流 表示 ， 通 过 遍历 所 有 的 基本 流 和 备用 流 来 描述 场景 。 
e 基本 流 : 采用 直 黑 线 表 示 ， 是 经 过 用 例 的 最 简单 路 径 ， 即 无 任何 差错 ， 程 序 从 开始 直 
接 执 行 到 结束 的 流程 ， 往 往 是 大 多 数 用 户 最 常 使 用 的 操作 过 程 ， 体 现 了 软件 的 主要 功 
能 与 流程 。 通 常 ， 一 项 业务 仅 存在 一 个 基本 流 ， 并 且 基 本 流 仅 有 一 个 起 点 和 一 个 终点 。 
e 备 选 流 ， 除 基本 流 外 的 各 个 支流 ， 采 用 不 同 颜色 表示 。 备 选 流 可 能 从 基本 流 开始 ， 在 
某 个 特定 条 件 下 执行 ， 然 后 重新 加 入 到 基本 流 中 (如 备 选 流 1 和 3); 也 可 以 起 源 于 另 一 
个 备 选 流 (如 备 选 流 2); 还 可 以 终止 用 例 而 不 再 加 入 到 基本 流 中 (如 备 选 流 2 和 人, 反映 

了 各 种 异常 和 错误 情况 。 

开始 用 例 


结束 用 例 
图 3-10 基本 流 和 备 选 流 


考虑 用 例 从 开始 到 结束 所 有 可 能 的 基本 流 和 备 选 流 的 组 合 ， 可 以 确定 不 同 的 用 例 场景 。 例 
如 ， 根 据 图 3-10， 可 以 确定 以 下 用 例 场 景 。 

e 场景 1: 基本 流 

e@ 场景 2: 基本 流 一 备 选 流 1 
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场景 3: 基本 流 一 备 选 流 1 一 备 选 流 2 

场景 4: 基本 流 一 备 选 流 3 

场景 5: 基本 流 一 备 选 流 3 一 备 选 流 1 

场景 6: 基本 流 一 备 选 流 3 一 备 选 流 1 一 备 选 流 2 

场景 7: 基本 流 一 备 选 流 4 

e@ 场景 8: 基本 流 一 备 选 流 3 一 备 选 流 4 

为 了 简化 对 问题 的 分 析 ， 上 述 场景 中 只 考虑 了 备 选 流 3 循环 执行 一 次 的 情况 。 
基本 流 和 备 选 流 的 区 别 如 表 3-24 所 示 。 


表 3-24 基本 流 和 备 选 流 的 区 别 


备 选 流 
测试 重要 性 次 要 
数量 一 个 或 多 个 
初始 节点 位 置 基本 流 或 其 他 备 选 流 
终止 节点 位 置 基本 流 或 系统 终止 状态 


是 否 构成 完整 的 业务 流程 | 是 | 耕 仅 为 业务 流程 的 执行 片段 
[能 | 


能 否 构 成 场景 否 ， 需 要 和 基本 流 共同 构成 场景 


3.7.3 ”场景 法 的 设计 步骤 与 实例 


基于 场景 法 设计 测试 用 例 时 ， 需 要 重点 设计 出 用 户 使 用 被 测 软件 过 程 中 的 重要 操作 ， 一 般 
包括 以 下 两 类 : 

(1) 模拟 用 户 完成 正常 功能 和 核心 业务 逻辑 的 操作 ， 以 验证 软件 功能 的 正确 性 ; 

(2) 模拟 用 户 操作 中 出 现 的 主要 错误 ， 以 验证 软件 的 异常 错误 处 理 能 力 。 

因此 ， 场 景 法 的 使 用 要 求 用 例 设计 者 对 被 测 软件 的 业务 逻辑 和 主要 功能 非常 熟悉 。 执 行 用 
例 时 ， 不 仅 要 留意 基本 操作 场景 和 异常 操作 场景 的 系统 功能 执行 情况 ， 还 要 关注 场景 各 个 操作 
环节 所 涉及 的 界面 易 用 性 、 安 全 等 非 功 能 特性 。 

基于 场景 法 测试 的 难点 在 于 : 

(1) 如 何 根据 被 测 软件 的 业务 来 构建 基本 流 和 备 选 流 ; 

(2) 如 何 根据 事件 流 来 构建 场景 以 满足 测试 完备 和 无 元 余 的 要 求 ; 

(3) 如 何 根据 场景 设计 测试 用 例 。 

当 备 选 流 很 多 时 ， 场 景 的 构建 实际 上 等 同 于 业务 执行 路 径 的 构建 。 备 选 流 越 多 ， 则 执行 路 
径 越 多 ， 与 程序 执行 路 径 类 似 ， 将 导致 场景 爆炸 。 这 种 情况 下 ， 需 要 选取 典型 场景 进行 测试 ， 
基本 原则 如 下 : 

(1) 有 且 仅 有 一 个 场景 包含 基本 流 ; 

(2) 最 少 场景 数 等 于 基本 流 和 备 选 流 的 总 数 ; 

(3) 对 于 某 个 备 选 流 ， 至 少 应 当 有 一 个 场景 覆盖 它 ， 并 且 该 场景 应 当 尽量 避免 覆盖 其 他 的 
备 选 流 。 
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根据 场景 法 设计 测试 用 例 的 步骤 如 下 : 

(1) 根据 说 明 ， 描 述 出 程序 的 基本 流 及 各 个 备 选 流 ; 
(2) 根据 基本 流 和 各 个 备 选 流 生成 不 同 的 场景 ; 

(3) 对 每 一 个 场景 生成 相应 的 测试 用 例 ; 


(4) 对 生成 的 所 有 测试 用 例 重新 审查 ， 去 掉 多 余 的 测试 用 例 。 测 试用 例 确定 后 ， 对 每 一 个 


测试 用 例 确定 测试 数据 值 。 
下 面 我 们 通过 一 个 简化 的 实例 来 说 明基 于 场景 法 的 测试 用 例 设计 方法 。 


某 旅馆 住宿 系统 支持 网 上 预订 业务 。 游 客 访问 网 站 进行 房间 预订 操作 ， 选 择 预订 日 期 、 合 


适 的 房间 后 ， 进 行 在 线 预订 。 此 时 ， 需 要 使 用 个 人 账号 登录 系统 ， 待 登录 成 功 后 ， 


进行 订金 支 


付 。 订 金 支付 成 功 后 ， 生 成 房间 预订 单 ， 完 成 整个 房间 预定 流程 。 系 统 允许 的 预订 期 限 为 30 


天 ， 订 金 为 400 元 。 
1) 确定 基本 流 和 备 选 流 
根据 实例 的 说 明 ， 确 定 基本 流 和 备 选 流 ， 如 表 3-25 所 示 。 


表 3-25 ”基本 流 和 备 选 流 


备 
选择 房间 无 空余 房间 
基本 流 账户 不 存在 


选择 预订 日 其 预订 日 期 超 限 
订金 支付 密码 错误 


类 型 描述 


产生 预订 订单 用 户 账号 余额 不 足 


2) 根据 基本 流 和 备 选 流 生成 不 同 的 场景 

e 场景 1( 成 功 预订 房间 ): 基本 流 。 

场景 2( 预 订 日 期 超 限 ); 基本 流 、 备 选 流 1。 

场景 3( 无 空余 房间 ): 基本 流 、 备 选 流 2。 

场景 4 账户 不 存在 ): 基本 流 、 备 选 流 3。 

场景 5( 密 码 错误 ): 基本 流 、 备 选 流 4。 

e 场景 6( 用 户 账号 余额 不 足 ): 基本 流 、 备 选 流 5。 

3) 测试 用 例 设计 

对 于 每 一 个 场景 都 需要 确定 测试 用 例 ， 可 以 采用 抑 阵 或 决策 表 来 确定 和 管理 


测试 用 例 ， 


表 3-26 是 结合 场景 确定 的 基本 测试 用 例 。 表 3-26 中 显示 了 一 种 通用 格式 ， 表 中 各 行 代表 各 个 
测试 用 例 ， 各 列 代表 测试 用 例 的 信息 。 每 个 测试 用 例 包括 用 例 ID、 场 景 /条 件 ( 或 说 明 )、 测 试用 


例 中 涉及 的 所 有 数据 元 素 (作为 输入 或 已 经 存在 于 数据 库 中 ) 以 及 预期 结果 。 


一 般 从 确定 执行 用 例 场景 所 需 的 数据 元 素 入 手 构建 和 矩 阵 。 然 后 ， 对 于 每 个 场景 ， 至 少 要 确 
定 包 含 执行 场景 所 需 的 测试 用 例 的 条 件 情况 。 例 如 ， 在 表 3-26 所 示 的 矩阵 中 ，“V” 表 明 这 个 
条 件 必须 是 有 效 的 (Valid) 才 可 执行 基本 流 ， 而 “I” 表 明 在 这 种 条 件 无 效 的 (Invalid) 情 况 下 将 激 


活 所 需 备 选 流 ，“n/a”( 不 适用 ) 表 示 这 个 条 件 不 适用 于 测试 用 例 。 
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表 3-26 测试 用 例 表 

用 例 场景 条 件 账号 余额 预期 结果 
1 | 场景 1: 成 功 预订 房间 | V Vv os pe 
2 | 场景 2， 预订 日 期 超 限 a en ， 
4 | 场景 4 账户 不 存在 i ei 
5 ”| 场景 5: 密码 错误 有 ee 重 
6 “| 场景 6: 账号 余额 不 足 tba 

在 表 3-26 所 示 的 矩阵 中 ,无须 为 条 件 输入 任何 实际 的 数值 ， 这 样 做 的 优点 是 只 需要 查看 各 


条 件 的 “V” 和 “I” 设 定 情况 ， 如 果 某 个 条 件 不 具备 “I” 的 取 值 情 况 ， 则 说 明 还 未 测试 该 条 件 
无 效 的 情况 ， 提 示 测 试用 例 还 不 够 充足 。 

4) 确定 测试 用 例 数据 值 

在 表 3-27 中 ， 假 定 UserOne 为 已 注册 用 户 ， 密 码 为 MyPass; UserTwo 是 未 注册 用 户 。 


表 3.27 测 站 用 例 表 
用 例 下 预期 结果 
1 有 | Mypass | 成 功 预订 


一 个 超出 预订 期 
et 于 


3 | 场 录 3 | 一 个 有 效 B 期 | 杠 |m |m | 无 空余 房间 
4 一 个 有 效 日 其 | 账户 错误 
5 
6 


一 个 有 效 日 其 EEC Nopass -一 密码 错误 
| 场景 6 | 一 个 有 效 日 其 Mypass 余额 不 足 
错误 推测 法 


错误 推测 法 基于 经 验 和 直觉 推测 程序 中 可 能 出 现 的 各 种 错误 和 容易 发 生 错误 的 特殊 情况 ， 
将 其 列举 为 清单 , 然后 有 针对 性 地 设计 测试 用 例 。 这 些 根 据 经 验 总 结 的 错误 清单 通过 不 断 积累 、 
修正 和 分 享 ， 可 以 帮助 测试 人 员 发 现 很 多 潜在 的 软件 缺陷 。 

经 验 通 常 来 自 于 软件 项 目的 历史 测试 结果 ， 通 过 从 故障 管理 库 中 整理 软件 缺陷 报告 ， 梳 理 
出 产品 以 往 哪 些 地 方 容易 出 现 问 题 。 经 验 也 可 以 来 自 于 用 户 的 反馈 意见 ， 或 者 来 自 于 项 目测 试 
过 程 ， 采 用 非 用 例 方法 发 现 的 问题 ， 如 通过 探索 测试 、 随 机 测试 等 方法 发 现 的 问题 。 如 果 具 有 
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普遍 性 ， 则 可 以 将 其 转换 为 用 例 ， 作 为 当前 用 例 库 的 经 验 用 例 补 充 。 直 觉 是 软件 测试 知识 和 经 
验 的 积累 结果 。 

例如 ， 对 用 户 页 面 输入 进行 验证 时 ， 根 据 经 验 可 以 总 结 出 如 下 一 些 测试 项 ; 

(1) 数字 验证 。 输 入 数字 、 临 界 值 、 字 符 串 、 空 值 。 

(2) 字符 验证 。 输 入 单字 节 、 双 字 节 、 大 小 写 、 特 殊 、 空 白 等 字符 。 

(3) 日 期 、 时 间 验 证 。 输 入 非 日 期 格式 、 非 正确 日 期 、 任 意 字符 或 数字 、 空 白 。 

(4) 多 列表 选择 框 。 能 否 多 选 ， 数 据 是 否 显示 完全 ， 数 据 过 多 时 是 否 排序 。 

(5) 单列 表 下 拉 框 。 能 否 手工 输入 ， 是 否 显示 完整 日 未 超出 显示 范围 ， 格 式 已 排序 。 

(6) 多 行文 本 输入 框 。 能 否 校 验 文本 字数 限制 ， 并 且 结 合 字符 输入 验证 。 

(7) 文件 上 传输 入 框 。 文 件 类 型 和 扩展 名 限制 ， 文 件 大 小 限制 ， 空 值 等 非法 输入 。 

(8) 输入 字符 长 度 验证 。 字 符 长 度 超过 限制 后 ， 给 出 必要 的 提示 信息 。 

(9) 必 填 项 验证 。 输 入 为 空 时 给 出 必要 提示 ， 光 标 自 动 定位 于 该 输入 项 。 

(10) 输入 格式 、 规 则 验证 。 例 如 对 身份 证 号 码 的 有 效 性 验证 。 

(11) 输入 错误 定位 。 输 入 错误 时 ， 页 面 光标 定位 于 错误 处 。 

(12) 单 选 框 和 多 选 框 。 依 次 验证 单 选 框 和 多 选 框 中 值 的 有 效 性 。 

(13) 验证 码 。 页 面 回 退 或 刷新 时 ， 显 示 的 验证 码 是 否 与 实际 验证 码 一 致 。 图 片 型 验证 码 能 
否 完整 显示 ， 能 否 在 不 刷新 页 面 的 情况 下 重新 获取 。 

蕴 误 推测 法 依据 经 验 和 直觉 ， 没 有 固定 的 方法 ， 带 有 明显 的 主观 性 。 一 般 先 采 用 其 他 的 方 
法 设计 测试 用 例 ， 再 利用 错误 推测 法 补充 用 例 。 

错误 推测 法 的 优点 是 : 

。 能 够 充分 发 挥 测 试 人 员 的 直觉 和 经 验 ; 

。 通过 问题 积累 、 总 结 和 分 享 ， 做 到 集思广益 和 不 断 提高 测试 效果 ; 

e 使 用 方便 ， 能 够 快速 切入 和 解决 问题 。 

相应 的 缺点 是 : 
难以 统计 测试 的 覆盖 率 ; 
可 能 对 大 量 未 知 的 问题 区 域 未 做 测试 ， 无 法 保证 测试 的 充分 性 ; 
带 有 主观 性 ， 缺 乏 系统 严格 、 有 章 可 循 的 方法 ， 因 此 难以 复制 ; 
难以 支持 自动 化 测试 。 


黑 盒 测 试 应 用 策略 


以 上 已 经 介绍 过 很 多 黑 盒 测 试 方法 ， 在 实际 测试 工作 中 应 当 如 何 选择 与 应 用 呢 ? 实际 上 ， 
每 种 黑 盒 测 试 方法 都 有 各 自 的 优 缺 点 和 适用 性 ， 需 要 考虑 不 同 软件 的 特点 以 及 具体 测试 内 容 ， 
对 这 些 方法 进行 综合 运用 ， 力 求 达到 测试 项 目 所 要 求 的 测试 效率 和 测试 覆盖 率 。 

黑 盒 测 试 方法 往往 都 不 是 单独 使 用 的 ， 以 下 是 一 些 进行 软件 功能 测试 时 黑 盒 测 试 方法 的 综 
合 选择 策略 ， 可 以 在 实际 测试 工作 中 予以 参考 。 

e ”对 于 业务 流程 清晰 的 系统 ， 可 以 利用 场景 法 贯穿 整个 测试 过 程 ， 并 在 测试 过 程 中 综合 

使 用 各 种 测试 方法 。 
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对 比 其 他 方法 ， 等 价 类 划分 法 经 常 被 优先 选用 ， 可 以 将 无 限 测试 变 成 有 限 测试 ， 这 是 
减少 测试 工作 量 和 提高 测试 效率 的 最 有 效 方法 。 

在 任何 情况 下 都 应 当 考 虑 边界 值 分 析 法 ， 这 种 方法 是 发 现 软件 缺陷 最 有 效 的 手段 之 一 。 
各 种 测试 中 ， 都 可 以 用 错误 推测 法 扩充 一 些 测试 用 例 ， 重 视 借 鉴 测试 工程 师 宝贵 的 测 
试 经 验 。 

如 果 程 序 的 功能 说 明 中 含有 输入 条 件 的 组 全 情况， 并且 业 务 罗 辑 比较 复杂 ， 则 一 开始 
就 可 以 选用 因果 图 法 和 判定 表 驱 动 法 。 

对 于 参数 配置 类 的 软件 ， 要 用 正 交 实 验 法 选择 较 少 的 组 合 方式 以 达到 最 佳 效 果 。 

对 照 软 件 规格 说 明 书 中 的 功能 需求 ， 检 查 已 设计 出 的 测试 用 例 的 覆盖 程度 。 当 未 达到 
覆盖 标准 时 ， 需 要 补充 足够 的 测试 用 例 。 


以 上 应 用 策略 是 一 些 参 考 性 的 原则 ， 并 非 一 成 不 变 的 固定 方法 。 实 际 测试 工作 中 ， 最 重要 
的 是 重视 和 理解 软件 需求 ， 根 据 软 件 规格 说 明 书 设计 功能 测试 用 例 ， 规 格 说 明 书 的 正确 性 至 关 
重要 。 也 就 是 说 ， 应 用 黑 盒 测 试 方法 时 ， 立 足 需求 是 基础 ， 深 入 理解 业务 是 关键 ， 灵 活 应 用 方 
法 是 手段 。 


黑 盒 测 试 与 白 食 测 试 的 优 缺 点 与 对 比 


在 上 一 章 与 本 章 中 ， 已 经 对 黑 盒 测试 与 白 盒 测试 方法 进行 了 非常 详细 的 说 明 。 在 这 里 ， 我 
们 对 这 两 种 方法 的 优 缺 点 先进 行 综合 说 明 , 再 对 它们 进行 对 比 , 以 便于 抓 住 这 两 种 方法 的 实质 ， 
在 测试 工作 中 进行 正确 的 综合 运用 。 

黑 盒 测试 的 优点 是 : 


能 最 直观 、 最 直接 地 反映 出 软件 是 否 满足 需求 


e 对 于 较 大 的 代码 单元 来 说 ， 测 试 效率 高 ，; 


测试 人 员 不 需要 了 解 软件 内 部 实现 的 细节 ， 包 括 具 体 的 编程 语言 ; 
测试 人 员 和 编程 人 员 是 相互 独立 的 

从 用 户 的 角度 进行 测试 ， 容 易 被 理解 和 接受 ; 

有 助 于 暴露 任何 与 规格 说 明 不 一 致 或 有 歧义 的 问题 ; 

测试 用 例 的 设计 可 以 在 规格 说 明 完 成 之 后 马上 进行 ; 

容易 入 手 生成 测试 数据 ; 

适用 于 各 阶段 测试 。 


时 多 测试 的 所 点 是 


依赖 规格 说 明 书 的 正确 性 ， 如 果 规 格 说 明 中 有 多 余 或 遗漏 的 功能 ， 黑 盒 测试 方法 是 发 
现 不 了 的 ， 这 是 黑 盒 测 试 的 主要 缺点 ; 

只 有 一 小 部 分 可 能 的 输入 被 测试 到 ， 要 测试 每 个 输入 流 几 乎 是 不 可 能 

不 可 能 覆盖 所 有 的 代码 ， 代 码 覆 盖 率 低 ; 

如 果 没 有 清晰 、 简 洁 的 规格 说 明 ， 难 以 设计 测试 用 例 ; 

会 有 很 多 程序 路 径 没 有 被 测试 到 ; 

不 能 直接 针对 可 能 隐蔽 了 许多 问题 的 特定 程序 段 进行 测试 ; 
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不 易 满足 测试 充分 性 要 求 。 


白 盒 测试 的 优点 是 : 


可 以 在 整个 软件 系统 还 未 完成 之 前 就 分 别 对 各 个 已 实现 单元 进行 测试 ; 
可 生成 测试 数据 对 特定 程序 部 分 测试 ， 可 以 检测 代码 中 的 每 条 分 支 和 路 径 
对 代码 的 测试 比较 彻底 ， 能 揭示 隐藏 在 代码 中 的 错误 ; 

有 一 定 的 充分 性 度量 手段 ， 如 代码 覆盖 率 。 
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白 盒 测 试 的 缺点 是 : 


系统 庞大 时 ， 测 试 工作 量 大 、 成 本 高 ， 通 常 只 用 于 单元 测试 ， 有 应 用 局 限 性 ; 


e 经 常 需要 在 软件 中 进行 插 桩 ， 记 录 各 分 支 、 条 件 、 路 径 的 执行 信息 ; 


无 法 检测 代码 中 遗漏 的 路 径 和 数据 敏感 性 错误 ; 

不 能 验证 规格 说 明 的 正确 性 ; 

测试 基于 代码 ， 对 于 规格 说 明 中 己 有 明确 规定 ， 但 在 实现 中 被 遗漏 的 功能 ， 无 论 哪 一 
种 结构 覆盖 都 是 检查 不 出 来 的 

不 易 生成 测试 数据 。 


黑 盒 测 试 和 白 盒 测试 的 对 比 : 


白 盒 测试 只 根据 程序 的 内 部 结构 进行 测试 ， 不 能 确保 软件 已 经 实现 规格 说 明 中 的 所 有 
功能 。 黑 盒 测 试 则 只 根据 程序 外 部 特性 进行 测试 ， 不 能 保证 已 经 实现 的 各 个 程序 部 分 
都 被 测试 到 。 

对 于 较 大 的 代码 单元 ， 如 系统 级 模块 ， 黑 盒 测试 比 白 盒 测试 效率 高 。 

与 黑 盒 测 试 相 比 ， 白 盒 测试 的 成 本 要 高 一 些 。 

黑 盒 测 试 是 一 种 确认 技术 ， 回 答 “ 我 们 在 构造 正确 的 系统 吗 ? ” 白 盒 测试 是 一 种 验证 
技术 ， 回 答 “ 我 们 在 正确 地 构造 系统 吗 ? ” 


通过 以 上 总 结 与 分 析 ， 建 议 在 实际 测试 过 程 中 ， 可 以 考虑 先 使 用 黑 盒 测 试 ， 统 计 相 应 的 覆 
盖 率 ， 再 设计 适当 的 白 盒 测 试用 例 作为 补充 ， 以 保证 测试 的 完整 性 。 


思考 题 
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1. 什么 是 黑 盒 测 试 ? 黑 盒 测 试 的 主要 方法 都 有 哪些 ? 

2. 一 般 采 用 黑 盒 测试 检测 哪些 错误 ? 

4. 为 什么 在 等 价 类 划分 法 中 ， 一 个 无 效 等 价 类 测试 用 例 只 覆盖 一 个 无 效 等 价 类 ? 

. 一 个 程序 读 入 一 个 整数 ， 把 这 个 整数 看 作 一 个 学 生 的 成 绩 。 这 个 程序 要 打印 出 信息 ， 说 


请 简要 曾 述 各 种 黑 盒 测试 方法 的 优 缺 点 及 适用 性 。 


明 这 个 学 生 的 成 绩 是 优秀 (90 一 100)、 良 好 (80 一 89)、 中 等 (70 一 79)、 及 格 (60 一 69) 还 是 不 及 格 (0 一 
59)。 请 用 等 价 类 划分 法 和 边界 值 分 析 法 设计 出 相应 的 测试 用 例 。 


6. 
孙 


判定 表 驱 动 法 、 因 果 图 法 和 正 交 实验 法 有 什么 区 别 与 联系 ? 
有 一 款 城市 税 征收 计算 软件 ， 税 率 计算 方法 为 : 对 于 未 定居 在 此 的 人 ， 城 市 税 是 每 年 总 


收入 的 1%; 对 于 定居 在 此 的 人 ， 城 市 税 的 征收 划分 为 以 下 几 个 档次 : 


如 果 年 收入 不 超过 30000 美元 ， 征 收 总 收入 的 1%; 
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e 如 果 年 收入 在 30000 美元 到 50000 美元 之 间 ， 征 收 总 收入 的 5%; 

e@ 如 果 年 收入 超过 50000 美元 ， 征 收 总 收入 的 15%。 

请 采用 因果 图 法 设计 测试 用 例 。 

8. 假设 一 个 软件 模块 有 5 个 独立 的 变量 (A、B、C、D、E)。 变 量 A 和 了 B 都 有 两 个 取 值 ， 
分 别 是 Al1、A2 和 B1、B2。 变 量 C 和 DD 都 有 三 个 可 能 的 取 值 ， 分 别 是 Cl、C2、C3 和 D1、 
D2、D3。 变 量 E 有 六 个 可 能 的 取 值 ， 分 别 是 E1、E2、E3、E4、E5、E6。 请 采用 正 交 实验 法 
设计 相应 的 测试 用 例 。 

9. 在 何 种 情况 下 应 当 采 用 场景 法 对 软件 进行 测试 ? 根据 场景 法 设计 测试 用 例 的 步 又 是 
什么 ? 

10. 登录 淘宝 网 (www.taobao.com)， 熟 悉 购 物流 程 ， 画 出 相应 的 基本 流 和 备 选 流 ， 并 给 出 需 
要 测试 的 典型 场景 。 

11. 请 简 述 黑 盒 测试 方法 的 应 用 策略 。 

12. 黑 盒 测 试 和 白 盒 测试 各 自 的 优 缺 点 是 什么 ? 在 实际 测试 工作 中 应 当 如 何 进行 综合 
运用 ? 
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软件 测试 的 执行 阶段 


在 第 1 章 中 介绍 软件 测试 分 类 时 已 经 说 明 过 ， 为 了 有 计划 、 分 步骤 地 进行 软件 测试 ， 按 照 
软件 测试 执行 阶段 的 不 同 ， 可 以 分 为 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 。 同 时 ， 软 件 
测试 执行 阶段 的 划分 使 得 测试 工作 和 软件 开发 工作 能 够 协同 、 并 行 地 进行 ， 前 面 介绍 过 的 软件 
测试 V 模型 和 W 模型 都 反映 了 各 测试 阶段 和 相应 开发 阶段 的 层次 关系 。 在 本 章 中 ， 主 要 对 各 
个 测试 阶段 的 主要 任务 、 测 试 依据 、 所 采用 的 测试 技术 、 测 试 数据 、 测 试 人 员 以 及 各 测试 阶段 
之 间 的 相互 关系 等 内 容 进行 详细 介绍 和 说 明 。 


了 EI 单元 测试 


单元 测试 就 是 根据 软件 规格 说 明 书 、 详 细 设计 说 明 书 、 编 码 规范 和 源 程序 清单 ， 对 软件 设 
计 中 的 最 小 单元 进行 正确 性 检验 的 测试 工作 , 主要 测试 软件 单元 在 语法 、 格 式 和 逻辑 上 的 错误 。 
单元 测试 是 软件 测试 的 第 一 个 执行 阶段 ， 是 软件 测试 的 基础 。 能 否 做 好 单元 测试 直接 影响 到 后 
续 测试 阶段 ， 并 且 最 终 影响 到 软件 的 整体 质量 。 


4.1.1 单元 测试 和 集成 测试 的 关系 


软件 测试 的 根本 目的 是 保证 软件 系统 的 整体 质量 ， 软 件 质量 控制 的 步骤 与 环节 很 大 程度 上 
借鉴 了 传统 工业 制造 领域 的 经 验 。 一 个 工业 制 成 品 经 常 由 成 百 上 千 个 零件 构成 ， 图 4-1 描述 了 
汽车 的 主要 零件 构成 。 据 估计 ， 一 辆 汽车 约 由 1 万 多 个 不 可 拆 解 的 独立 零 部 件 组 装 而 成 ， 结构 
极其 复杂 的 特制 汽车 ， 如 Fl 赛车 等 ， 其 独立 零 部 件 的 数量 可 达 2 万 个 之 多 ;而 组 装 一 架 波音 
747 客机 的 零件 高 达 600 万 个 。 

但 汽车 的 零 部 件数 量 越 多 ， 并 不 说 明 汽车 的 性 能 越 好 ， 反 而 意味 着 汽车 的 可 靠 性 会 更 加 难 
以 保证 。 每 一 个 零件 的 质量 都 影响 着 最 终 整 车 的 质量 ， 决 定 着 一 辆 汽车 的 安全 性 、 稳 定性 和 性 
能 。 因 此 ， 工 业 生产 中 ， 首 先 需 要 根据 设计 要 求 ， 检 测 每 一 个 零件 是 否 满足 质量 要 求 。 然 后 ， 
将 相关 零件 逐步 组 装 成 各 个 主要 部 分 ， 分 别 控制 其 质量 。 例 如 ， 将 汽车 零件 组 装 成 发 动机 、 底 
盘 、 车 身 和 电气 设备 四 个 基本 部 分 ， 检 测 和 保障 每 一 个 部 分 的 质量 ， 最 终 再 将 各 部 分 组 装 成 
整 车 。 
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图 4-1 汽车 的 零件 构成 


单元 测试 就 类 似 于 上 述 例子 中 的 零件 检测 ， 而 集成 测试 就 类 似 于 零件 分 部 分 组 装 检测 。 软 
件 系统 也 由 众多 的 软件 单元 构成 ， 典 型 的 软件 系统 所 包含 的 软件 单元 数量 目前 还 没有 明确 的 统 
计数 据 ， 但 可 以 预期 的 是 ， 随 着 软件 规模 越 来 越 大 ， 软 件 单元 的 数量 也 会 越 来 越 多 。 单 元 测试 
是 保证 整个 软件 系统 质量 的 基础 工作 ， 而 保证 各 个 软件 单元 集成 后 仍然 能 够 正常 工作 是 集成 测 
试 需要 解决 的 问题 。 

同时 需要 理解 的 是 ， 为 了 便于 软件 重用 和 分 步 控制 软件 质量 ， 大 粒度 的 软件 单元 (如 构件 ) 
由 众多 小 粒度 的 软件 单元 (如 函数 和 类 ) 集 成 而 来 ， 之 后 又 被 用 于 构建 更 为 复杂 的 软件 单元 或 系 
统 。 因 此 ， 单 元 测试 和 集成 测试 在 软件 开发 过 程 中 可 能 具有 交 蔡 进行 的 特征 。 另 一 方面 ， 持 续 
集成 已 经 成 为 开发 和 测试 的 常态 。 持 续集 成 通过 频繁 地 将 新 开发 的 软件 单元 集成 到 软件 主体 部 
分 之 上 ， 快 速 发 现 、 定 位 和 改正 软件 单元 或 集成 错误 ， 满 足 软件 开发 快速 迭代 的 要 求 ， 同 时 保 
证 软件 的 质量 。 

从 以 上 内 容 可 以 看 出 ， 单 元 测试 和 集成 测试 具有 紧密 的 关系 ， 但 两 者 之 间 也 具有 明显 的 不 
同 之 处 ， 主 要 体现 在 以 下 几 个 方面 : 

(1) 测试 目的 不 同 。 单 元 测试 主要 关注 的 是 软件 单元 个 体 是 否 满足 设计 要 求 ， 其 内 部 的 逻 
辑 结构 和 功能 是 否 正 确 。 集 成 测试 主要 关注 的 是 软件 单元 是 否 能 够 正常 组 合 ， 不 同 单元 模块 之 
间 的 接口 是 否 正 确 ， 单 元 相互 之 间 是 否 能 够 正确 地 传递 数据 ， 是 否 能 够 实现 要 求 的 业务 功能 ， 
在 软件 性 能 方面 也 会 有 所 考虑 。 

(2) 测试 对 象 不 同 。 单 元 测试 的 对 象 是 有 具体 功能 的 程序 单元 ， 而 集成 测试 的 对 象 往往 是 
软件 模块 以 及 模块 间 的 组 合 。 因 此 ， 它 们 的 测试 粒度 也 是 不 同 的 。 单 元 测试 完成 的 是 程序 级 别 
的 测试 工作 ， 而 集成 测试 完成 的 经 常 是 系统 构建 级 别 的 测试 工作 。 

(3) 测试 的 起 始 时 间 不 同 。 单 元 测试 是 软件 开发 中 的 早期 测试 阶段 ， 可 以 尽早 发 现 程序 中 
的 软件 缺陷 ， 集 成 测试 是 单元 测试 完成 之 后 的 测试 阶段 。 

(4) 测试 方法 不 同 。 单 元 测试 主要 采用 基于 程序 代码 和 逻辑 结构 分 析 的 白 盒 测 试 技术 ， 畏 
之 以 黑 盒 测 试 技术 ， 而 集成 测试 结合 使 用 白 盒 与 黑 盒 测试 方法 ， 较 多 采用 的 是 基于 功能 验证 的 
黑 盒 测试 技术 。 

(5) 测试 依据 不 同 。 单 元 测试 主要 依据 软件 详细 设计 说 明 ， 集 成 测试 主要 依据 软件 概要 设 
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计 说 明 。 

(6) 测试 能 力 不 同 。 单 元 测试 面向 发 现 局 部 程序 问题 ， 对 模块 间接 口 正确 性 的 全 面 和 深入 
验证 需要 通过 集成 测试 进行 。 由 于 集成 测试 具有 可 重复 性 强 、 对 测试 人 员 透 明 的 特点 ， 因 此 测 
试 效率 较 高 ， 能 够 有 效 地 加 快 测试 进度 。 


4.1.2 ”对 于 单元 测试 的 基本 认识 


1) 什么 是 软件 单元 

学 习 单 元 测试 首先 需要 和 弄 清楚 什么 是 软件 单元 (可 简称 单元 )。 软 件 单元 的 界定 与 划分 与 具 
体 的 软件 形式 有 关 ， 同 时 也 与 软件 开发 过 程 所 采用 的 具体 技术 有 关 ， 需 要 根据 具体 情况 去 判定 
软件 单元 的 含义 。 例 如 : 

e 在 传统 的 结构 化 编程 语言 (如 C 语言 ) 所 开发 的 软件 中 ， 软 件 单元 可 以 是 一 个 函数 或 过 
程 ， 也 可 以 是 紧密 相关 的 一 组 函数 或 过 程 ， 还 可 以 是 由 很 小 的 单元 构成 的 复合 单元 
典型 的 如 程序 模块 。 

。 在 面向 对 象 编程 语言 (如 Java、C+H) 所 开发 的 软件 中 ， 测 试 的 基本 单元 是 类 ， 也 可 以 是 
由 相关 类 构成 的 模块 或 组 件 。 

e 在 图 形 用 户 界面 或 可 视 化 的 编程 环境 下 ， 软 件 单元 往往 被 典型 地 划分 为 窗口 、 窗 口中 
的 各 种 元 素 以 及 窗口 元 素 的 集合 ， 例 如 菜单 和 组 合 文本 框 等 。 

e。 Web 程序 的 测试 单元 可 以 是 网 页 中 的 一 项 子 功能 ， 例 如 对 特定 输入 域 的 校 验 或 是 数据 
检索 按钮 。 

e 在 基于 组 件 的 开发 模式 下 ， 软 件 单元 是 可 重用 组 件 。 组 件 是 具有 一 定 功能 ， 能 够 独立 
工作 或 者 同 其 他 组 件 装配 起 来 协调 工作 的 程序 体 。 整 个 组 件 隐藏 了 具体 的 实现 ， 只 用 
接口 对 外 提供 服务 。 

2) 如 何 选择 软件 单元 

根据 上 面 的 例子 可 以 理解 ， 进 行 单元 选择 的 依据 主要 是 : 

e 单元 具有 明确 的 独立 性 。 被 测 单元 需要 符合 “高 内 聚 、 低 耦合 ”的 要 求 ， 有 明确 的 、 
可 定义 的 边界 或 接口 。 只 有 这 样 才能 保证 被 测 单元 不 受 程序 其 他 部 分 和 其 他 单元 的 影 
响 ， 将 测试 出 的 问题 局 限于 单元 内 部 ， 方 便 问 题 的 分 析 与 排查 ， 有 利于 彻底 地 消除 被 
测 单元 中 存在 的 软件 缺陷 。 

e 单元 必须 是 可 测 的 。 这 就 要 求 被 测 单元 的 行为 和 输出 是 可 以 观测 的 。 

e 要 选择 好 被 测 单元 的 大 小 。 单 元 划分 过 大 时 ， 包 含 的 程序 逻辑 结构 会 很 复杂 ， 使 得 测 
试用 例 不 够 精练 ， 也 不 便于 理解 和 维护 ;单元 划分 过 小 时 ， 单 元 测试 会 过 于 烦琐 ， 降 
低 测试 效率 。 

3) 什么 时 候 开始 单元 测试 

单元 测试 越 早 进行 越 好 。 通 常 在 编码 完成 并 且 已 经 通过 编译 后 开始 单元 测试 ， 进 行 单元 测 

试 之 前 应 当 准 备 好 单元 测试 计划 、 单 元 测试 用 例 等 。 尽 早 开始 单元 测试 可 以 在 开发 过 程 早 期 发 
现 程序 错误 ， 在 此 阶段 也 更 容易 定位 和 排除 错误 ， 大 幅 降 低 后 期 测试 和 软件 维护 成 本 。 项 目 后 
期 再 进行 单元 测试 将 失去 发 现 软件 缺陷 的 最 好 时 机 , 也 失去 了 代码 检查 和 预防 软件 缺陷 的 意义 。 
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4) 由 谁 来 负责 单元 测试 

单元 测试 一 般 由 开发 人 员 自 己 负责 完成 。 可 以 由 开发 人 员 测 试 自己 开发 的 代码 ， 也 可 以 在 
条 件 允 许 的 情况 下 进行 开发 人 员 之 间 的 交叉 测试 ， 以 便 获得 更 为 客观 的 测试 结果 。 测 试 工作 通 
常 是 在 开发 组 长 的 监督 下 完成 的 , 以 保证 采用 了 合适 的 测试 技术 , 并 满足 合理 的 质量 控制 目标 。 

如 图 4-2 所 示 ， 在 一 些 管理 非常 细致 、 严 格 的 软件 企业 中 ， 软 件 单元 在 进入 软件 代码 库 之 
前 会 有 不 同人 员 对 其 进行 检查 。 但 是 无 论 如 何 ， 单 元 测试 的 主要 负责 人 都 是 开发 者 本 人 ， 测 试 
人 员 负 有 监督 执行 和 审批 通过 的 权利 。 


编码 
源 代码 /一 进 制 代码 包 | “] 
代码 清单 
- 六 由 开发 者 本 人 提交 
单元 测试 用 例 
单元 测试 报告 
一 
软件 缺陷 清单 
> 由 检查 者 和 测试 人 员 提交 
产品 批注 表 
Es 
一 一 
产品 发 布 清单 
由 软件 配置 人 员 管理 
入 库 配置 


4-2 ”软件 单元 入 库 前 的 人 员 分 工 


5) 单元 测试 的 依据 是 什么 

单元 测试 的 主要 依据 是 软件 详细 设计 说 明 书 ， 也 包括 源 程序 本 身 的 代码 和 注释 。 不 能 只 看 
代码 而 不 看 设计 文档 ， 因 为 只 看 代码 仅 能 验证 程序 有 没有 做 某 件 事 ， 而 不 能 验证 应 不 应 该 做 这 
件 事 。 

6) 如 何 准备 单元 测试 数据 

单元 测试 一 般 不 使 用 真实 的 业务 数据 。 由 于 被 测 单元 规模 一 般 较 小 ， 根 据 测试 经 验 手工 生 
成 的 一 些 典型 测试 数据 往往 测试 效率 和 测试 效果 更 佳 ,如果 被 测 单元 没有 操纵 和 使 用 大 量 数据 ， 
可 以 根据 软件 业务 特点 和 具体 单元 的 代码 逻辑 结构 手工 设计 有 代表 性 的 测试 数据 。 如 果 单元 要 
操纵 大 量 数据 , 可 以 使 用 部 分 有 代表 性 的 真实 数据 , 然后 根据 经 验 辅助 生成 一 些 典 型 测试 数据 。 
这 些 测试 数据 需要 与 用 例 同步 维护 ， 以 便于 后 期 测试 重用 。 

7) 单元 测试 的 通过 标准 是 什么 

不 同 的 软件 企业 和 软件 项 目 会 使 得 单元 测试 的 通过 标准 有 所 不 同 , 下 面 是 一 种 较为 通用 的 、 
可 供 参考 的 标准 : 

e， 程序 通过 所 有 单元 测试 的 用 例 , 程序 语句 的 覆盖 率 达 到 10096, 程序 分 支 的 覆盖 率 达 到 85%。 
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e ， 核心 模块 的 语句 覆盖 率 和 分 支 覆盖 率 都 要 达到 100%。 
8) 如 何 进行 单元 测试 
单元 测试 主要 采用 和 白 盒 测 试 方法 ， 以 黑 盒 测 试 方法 作为 辅助 。 通 常会 通过 以 下 方法 完成 单 
元 测试 。 
。 静态 测试 。 包 括 检查 代码 是 否 符合 编码 规范 、 算 法 逻辑 是 否 正 确 和 高 效 、 模 块 接口 是 
否 正确 、 出 错 处 理 是 否 完备 、 表 达 式 和 SQL 语句 是 否 正 确 等 。 通 过 静态 测试 能 够 发 现 
大 约 30% 一 70% 的 程序 逻辑 和 编码 错误 。 
e 动态 测试 。 通 过 设计 和 执行 单元 测试 用 例 ， 检 查 软 件 单元 实际 运行 结果 是 否 正确 。 代 
码 中 大 量 的 隐 性 错误 必须 通过 动态 跟踪 与 分 析 才 能 捕捉 到 ， 因 此 动态 测试 是 单元 测试 
的 重点 与 难点 。 
e 状态 转换 测试 。 一 些 软 件 单元 (如 类 和 组 件 ) 可 能 拥有 多 种 状态 ， 各 状态 之 间 的 转换 由 事 
件 触发 ， 状 态 转换 又 可 能 引发 动作 。 软 件 单元 在 不 同 状态 之 下 ， 对 于 同样 的 输入 会 产 
生 不 同 的 输出 结果 ， 这 一 点 与 传统 的 软件 单元 (如 函数 和 过 程 ) 是 不 一 样 的 ， 增 加 了 单元 
测试 的 难度 。 因 此 ， 应 当 对 单元 可 能 存在 的 状态 、 状 态 间 转 换 、 状 态 转换 后 所 期 望 的 
动作 进行 测试 。 通常 采用 状态 转换 图 来 辅助 测试 用 例 的 设计 。 每 个 测试 用 例 必须 包括 
单元 起 始 状 态 、 输 入 、 预 期 输出 和 转换 后 的 期 望 状态 。 状 态 转换 测试 采用 的 是 黑 盒 测 
试 方法 。 
需要 说 明 的 是 ， 不 通过 测试 用 例 ， 只 是 简单 地 运行 源 程序 和 观察 输出 数据 被 称 为 临时 单元 
测试 ， 这 种 测试 不 充分 、 不 完整 ， 代 码 覆 盖 率 低 。 为 了 达到 充分 的 单元 测试 ， 需 要 编写 专门 的 
测试 代码 并 且 与 产品 代码 隔离 ， 形 成 独立 的 单元 测试 用 例 。 单 元 测试 除了 主要 检测 软件 单元 功 
能 实现 正确 与 否 之 外 ， 如 果 在 需求 和 设计 方面 对 单元 性 能 有 所 要 求 ， 还 需要 对 响应 时 间 、CPU 
和 内 存 的 使 用 情况 等 性 能 特征 和 影响 因素 进行 测试 。 
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有 人 曾经 在 网 上 做 过 一 项 有 关 单 元 测试 的 调查 ， 高 达 58.3% 的 国内 程序 员 在 一 般 情况 下 不 
写 单元 测试 ，16.6% 的 程序 员 从 来 都 不 写 单元 测试 。 虽 然 随 着 开发 人 员 对 软件 测试 的 重视 程度 
不 断 加 强 ， 上 述 情况 会 逐步 得 到 改善 ， 但 是 调查 结果 反映 了 目前 很 多 程序 员 十 份 厌倦 去 写 单元 
测试 ， 甚 至 有 些 程序 员 根本 不 清楚 为 什么 要 写 单元 测试 。 造 成 这 种 情况 的 原因 是 对 单元 测试 存 
在 着 以 下 一 些 认识 误区 。 

误区 一 : 单元 测试 的 价值 不 高 ， 浪 费 的 时 间 太 多 。 

很 多 开发 人 员 在 完成 编码 之 后 总 是 急于 进行 软件 集成 工作 ,希望 尽早 看 到 自己 的 工作 成 果 。 
这 种 情况 下 ， 表 面 高 效 的 工作 进度 实际 上 掩盖 了 软件 单元 中 许多 看 似 微小 ， 但 可 能 给 后 期 工作 
带 来 各 种 问题 的 Bug。 事 实 上 ， 这 些 Bug 的 存在 使 系统 能 够 进行 正常 工作 的 可 能 性 变 得 很 小 ， 
后 期 发 现 问题 再 进行 修复 的 时 间 代 价 更 高 。 单 元 测试 能 将 开发 人 员 查 错 的 范围 缩 得 很 小 ， 大 大 
节约 了 排 错 所 需 时 间 。 同时， 尽 可 能 早 地 发 现 和 消灭 错误 , 会 减少 由 于 错误 而 引起 的 连锁 反应 。 
完整 的 单元 测试 和 编写 代码 所 花费 的 时 间 大 致 相同 ， 只 有 经 过 了 单元 测试 ， 才 能 获得 稳定 可 靠 
的 程序 部 件 ， 为 高 效 的 软件 集成 乃至 今后 快速 的 软件 重用 奠定 基础 。 
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误区 二 : 开发 人 员 的 职责 只 是 软件 开发 ， 不 应 当 负责 单元 测试 。 

单元 测试 涉及 软件 模块 内 部 的 运行 逻辑 ， 而 且 需 要 考虑 与 其 他 软件 模块 的 关系 ， 为 模拟 这 
一 关系 ， 还 需要 开发 辅助 模块 。 因 此 ， 单 元 测试 一 般 遵 循 谁 开 发 谁 测试 的 原则 。 软 件 的 开发 者 
应 当 负责 软件 的 单元 测试 ， 保 证 每 个 单元 能 够 完成 设计 的 功能 ， 而 测试 人 员 只 起 辅助 和 监督 的 
作用 。 由 专职 的 测试 人 员 进行 单元 测试 ， 往 往 工 作 量 大 并 且 效 果 不 佳 ， 结 果 事倍功半 。 

误区 三 : 我 的 编程 水 平 很 高 ， 不 需要 单元 测试 。 

不 会 出 错 的 程序 员 是 不 存在 的 ， 程 序 必须 经 过 各 种 阶段 和 多 种 形式 的 测试 才能 保证 质量 ， 
单元 测试 只 是 其 中 一 种 。 微 小 的 Bug 也 可 能 会 对 整个 系统 质量 造成 严重 影响 ， 即 使 是 高 水 平 的 
程序 员 也 很 难 在 开发 前 期 对 这 种 影响 做 出 准确 评估 ， 所 以 应 当 尽 可 能 在 开发 早期 消除 软件 单元 
中 的 Bug。 另 一 方面 ， 随 时 进行 的 单元 测试 为 修复 Bug 提供 了 一 种 测试 保护 ， 能 够 有 效 地 避免 
因 修 改 一 个 Bug 而 引起 更 多 Bug 的 情况 ， 反 而 节约 程序 员 无 休止 忙于 修改 Bug 所 耗费 的 时 间 。 

误区 四 : 集成 测试 时 会 发 现 所 有 软件 单元 中 的 Bug。 

各 个 测试 阶段 的 测试 重点 不 同 ， 集 成 测试 是 使 用 已 经 通过 单元 测试 的 模块 ， 构 造 符 合 设计 
要 求 的 程序 结构 ， 重 点 测试 与 模块 接口 有 关 的 问题 。 如 果 不 经 过 单元 测试 ， 直 接 对 未 经 合格 性 
测试 的 软件 模块 进行 集成 ,在 测试 过 程 中 会 发 现 很 多 Bug。 当 出 现 严重 问题 时 ， 甚 至 导致 死机 ， 
使 测试 工作 无 法 再 测试 其 他 功能 。 由 于 集成 测试 涉及 的 软件 单元 数量 及 其 相关 开发 人 员 很 多 ， 
定位 错误 的 效率 和 准确 度 无 法 与 单元 测试 相 比 ， 频 繁 的 错误 退回 修改 使 得 测试 工作 很 难 进行 
下 去 。 

误区 五 : 业务 逻辑 简单 ， 不 值得 编写 单元 测试 。 

业务 逻辑 简单 与 否 是 相对 的 。 当 一 名 程序 员 对 自己 开发 的 模块 非常 熟悉 时 ， 很 自然 地 会 认 
为 其 业务 逻辑 简单 。 但 是 ， 单 元 测试 除了 用 于 测试 代码 的 功能 是 否 正确 之 外 ， 还 可 以 帮助 其 他 
开发 人 员 快 速 熟 悉 代 码 的 功能 ,甚至 不 用 去 读 代码 , 就 能 够 知道 软件 单元 完成 了 哪些 业务 功能 。 
因此 ， 对 程序 员 来 讲 ， 进 行 单元 测试 不 仅 保证 了 自己 开发 的 软件 单元 的 质量 ， 而 且 方便 了 团队 
开发 成 员 互 相 之 间 的 交流 与 理解 。 

除了 上 述 认识 误区 外 ， 项 目 管理 问题 也 是 实际 开发 工作 中 不 能 充分 完成 单元 测试 的 一 个 主 
要 原因 。 实 际 工作 中 经 常 出 现 以 下 两 种 情况 : 

e 为 了 完成 编码 任务 ， 没 有 足够 的 时 间 进 行 单元 测试 。 进 行 完备 的 单元 测试 会 导致 不 能 

按时 完成 开发 任务 ， 造 成 项 目 延 期 。 

e 项 目前 期 还 能 够 尽量 进行 单元 测试 ， 但 是 越 到 项 目 后 期 就 越 失控 。 

产生 上 述 现象 的 原因 只 能 说 是 项 目 管理 不 够 正规 和 严格 ， 并 不 能 作为 开发 人 员 不 编写 单元 
测试 的 理由 。 如 果 开发 人 员 不 能 养 成 编写 单元 测试 的 良好 习惯 ， 其 编写 的 代码 质量 必定 无 法 得 
到 有 效 控制 。 对 于 项 目 进 度 而 言 ， 需 要 在 真正 理解 业务 需求 的 基础 上 制定 合理 的 整体 项 目 进 度 
计划 ,也 需要 开发 人 员 合理 利用 有 限 的 开发 时 间 ， 提 高 开发 效率 ,与 计划 制定 者 进行 充分 沟通 ， 
留 出 一 定 的 单元 测试 时 间 。 

在 敏捷 开发 和 极限 编程 开发 方法 中 ， 测 试 驱动 开发 CDD，TestDriven Developmenb 已 经 成 
为 核心 实践 内 容 。 在 开发 功能 代码 之 前 ， 先 编写 单元 测试 用 例 代 码 ， 再 由 测试 代码 决定 需要 编 
写 什么 产品 代码 ， 从 而 驱动 整个 开发 过 程 的 进行 。 单 元 测试 的 重要 性 由 此 可 见 一 斑 。 
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4.1.4 ”单元 测试 的 意义 


单元 测试 的 意义 主要 体现 在 以 下 几 个 方面 。 

1) 产品 质量 方面 

像 工业 产品 中 的 零件 一 样 ， 只 有 确保 零件 的 质量 ， 这 个 产品 的 质量 才 有 保障 ， 软 件 单元 是 
整个 软件 的 构成 基础 ， 单 元 的 质量 也 就 是 整个 软件 质量 的 基础 。 单 元 测试 聚焦 于 发 现 程序 基本 
组 成 部 分 中 的 软件 缺陷 ， 首 先 保证 每 个 单元 正确 无 误 ， 然 后 才能 将 单元 组 装 成 部 件 并 测试 其 正 
确 性 。 单 元 测试 的 效果 直接 影响 软件 的 质量 ， 程 序 的 某 个 微小 错误 都 可 能 导致 整个 软件 质量 的 
下 降 ， 良 好 的 单元 测试 可 以 尽量 避免 这 种 情况 的 发 生 。 

2) 成 本 控制 方面 

每 一 项 单元 测试 的 范围 是 有 限 的 ， 其 测试 规模 较 小 ， 复 杂 性 较 低 。 因 此 ， 当 发 现 错误 后 ， 
很 容易 进行 错误 隔离 和 定位 ， 便 于 进行 程序 调试 和 纠 错 。 如 果 在 项 目 开发 的 后 期 再 去 发 现 问题 
和 解决 问题 ， 相 应 的 测试 与 排 错 成 本 将 会 成 倍 上 升 ， 这 也 就 是 为 什么 在 单元 测试 阶段 需要 尽 可 
能 排除 程序 Bug 以 大 幅 减 少 后 期 成 本 的 原因 。 

3) 测试 效率 方面 

软件 单元 经 常 是 由 多 名 程序 员 同 时 开发 的 ， 因 此 单元 测试 可 以 大 范围 并 行 开展 ， 使 多 人 同 
时 测试 多 个 单元 ， 大 大 提高 了 测试 的 效率 。 

4) 测试 效果 方面 

单元 测试 的 规模 和 复杂 性 较 低 ， 测 试 中 可 以 充分 使 用 包括 白 盒 测试 覆盖 分 析 在 内 的 许多 测 
试 技术 ， 因 而 能 够 进行 比较 充分 细致 的 测试 。 实 践 证 明 ， 单 元 测试 的 效果 是 非常 明显 的 。 做 好 
单元 测试 ， 可 以 使 后 期 的 集成 测试 和 系统 测试 变 得 很 顺利 ， 从 而 节约 很 多 调试 时 间 。 反 之 ， 粗 
略 的 单元 测试 使 得 单元 集成 时 才 发 现 大 量 低级 的 程序 错误 。 这 种 情况 下 ， 软 件 集成 人 员 很 难 分 
析 和 定位 错误 产生 的 原因 ， 会 浪费 大 量 测试 时 间 ， 并 且 使 测试 进度 严重 灌 后 。 此 外 ， 在 单元 测 
试 中 能 够 发 现 一 些 很 深层 次 的 问题 ， 如 严重 影响 程序 执行 效率 的 语句 。 同 时 ， 还 会 发 现 一 些 在 
单元 测试 中 很 容易 发 现 但 是 在 集成 测试 和 系统 测试 中 很 难 发 现 的 问题 。 更 为 重要 的 是 ， 单 元 测 
试 不 仅仅 证 明了 代码 做 了 什么 ， 是 如 何 做 的 ， 而 且 证 明了 软件 单元 做 了 该 做 的 事情 而 没有 做 不 
该 做 的 事情 。 

5) 综合 测试 能 力 方面 

事实 上 ， 单 元 测试 既是 一 种 验证 行为 ， 又 是 一 种 设计 行为 。 单 元 测试 验证 了 程序 中 每 一 项 
功能 的 正确 性 ， 为 后 续 开 发 提供 了 支持 。 同 时 ， 单 元 测试 能 使 开发 人 员 从 单元 调用 者 的 角度 观 
察 和 思考 ， 开 发 时 首先 考虑 测试 ， 将 单元 设计 成 易于 调用 和 可 测试 的 程序 ， 尽 量 降低 单元 间 的 
耦合 度 ， 将 软件 缺陷 数量 降低 到 最 小 。 此 外 ， 单 元 测试 文档 是 展示 函数 或 类 如 何 使 用 的 最 佳 文 
档 ， 大 大 方便 了 对 程序 代码 的 理解 。 自 动 化 的 单元 测试 有 助 于 进行 回归 测试 。 


4.1.5 ”单元 测试 的 原则 


根据 阿里 技术 的 实践 总 结 ， 良 好 的 单元 测试 需要 遵守 AIR 原则 。 

e A: Automatic( 自 动 化 )。 单 元 测试 应 当 是 非 交互 式 自动 执行 的 ， 大 型 复杂 软件 项 目 开发 
通常 定期 执行 测试 框架 ， 项 目 开发 往往 采用 持续 集成 的 方式 进行 ， 因 此 要 求 单元 测试 
过 程 高 度 自动 化 ， 测 试 输 出 结果 不 依赖 人 工 检查 。 
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I: dependent( 独 立 性 )。 为 了 保证 单元 测试 结果 稳定 可 靠 ， 测 试用 例 便于 维护 ， 需 要 保 
持 单元 测试 的 独立 性 。 单 元 测试 用 例 之 间 决 不 能 互相 调用 ， 必 须 做 到 用 例 间 完全 解 耦 ， 
没有 任何 的 依赖 ， 也 不 能 依赖 用 例 执 行 的 先后 次 序 。 

R: Repeatable( 可 重复 )。 单 元 测试 应 当 是 可 重复 进行 的 ， 不 能 受 外 部 环境 的 影响 。 当 软 
件 进行 持续 集成 时 ， 程 序 代码 改变 后 都 会 执行 单元 测试 。 如 果 单 元 测试 依赖 外 部 环境 ， 
例如 网 络 、 服 务 、 中 间 件 等 ， 容 易 导致 无 法 完成 持续 集成 。 


除 此 之 外 ， 在 工程 实践 中 ， 还 有 如 下 一 些 单元 测试 原则 可 供 参考 。 


4.1.6 


在 设计 评审 阶段 ， 开 发 人 员 应 当 和 测试 人 员 一 起 确定 单元 测试 的 范围 。 

完整 的 单元 测试 既 应 当 包含 正面 测试 也 应 当 包含 负面 测试 。 正 面 测 试验 证 程序 应 当 执 
行 的 工作 ， 而 负面 测试 验证 程序 不 应 当 执行 的 工作 。 

对 于 新 增 代码 应 当 及 时 补充 单元 测试 。 如 果 新 增 代码 影响 到 原 有 测试 用 例 ， 需 要 及 时 
修正 。 尤 其 对 于 核心 模块 的 增 量 代码 ， 要 确保 其 通过 单元 测试 。 

对 于 修改 过 的 代码 应 当 重 新 进行 单元 测试 ， 以 避免 因 修改 代码 引入 新 的 错误 。 

编写 单元 测试 代码 要 遵守 BCDE 原则 ， 以 保证 被 测 模块 的 交付 质量 。 

@ Border， 边 界 值 测试 ， 包 括 循环 边界 、 特 殊 取 值 、 特 殊 时 间 点 、 数 据 顺序 等 。 

@ Corect， 正 确 的 输入 ， 并 得 到 预期 的 结果 。 

@ Design， 与 设计 文档 相 结合 来 编写 单元 测试 。 

@ Eror， 强 制 错误 信息 输入 ， 如 非法 数据 、 异 常 流程 等 ， 并 得 到 预期 的 结果 。 

对 于 不 可 测 的 程序 代码 建议 首先 对 代码 进行 必要 的 修改 ， 使 程序 代码 变 得 可 测 ， 而 不 
是 为 了 达到 测试 要 求 而 编写 不 规范 的 测试 代码 。 

为 了 更 方便 地 进行 单元 测试 ， 产 品 代码 应 当 避 免 在 构造 函数 中 实现 过 多 的 功能 ， 控 制 
全 局 变量 和 静态 方法 的 数量 ， 减 少 程序 外 部 依赖 ， 单 元 中 避免 存在 过 多 的 条 件 语句 。 


单元 测试 的 主要 任务 


单元 测试 由 一 组 独立 的 测试 用 例 构成 ， 每 个 测试 用 例 针 对 一 个 独立 的 软件 单元 。 单 元 测试 
并 非 用 于 检查 软件 单元 之 间 是 否 能 够 良好 协作 ， 而 是 用 于 检查 单个 软件 单元 行为 是 否 正确 。 

执行 单元 测试 时 ， 测 试 人 员 依据 详细 设计 说 明 书 和 源 程序 清单 ， 在 理解 模块 的 VO 条 件 和 
内 部 逻辑 结构 的 基础 上 ， 主 要 采用 和 白 盒 测 试 为 主 、 黑 盒 测 试 为 辅 的 方法 ， 对 软件 模块 任何 合理 
和 不 合理 的 输入 进行 全 面 验证 ， 检 测 程序 功能 实现 的 正确 性 。 为 了 达到 上 述 目标 ， 单 元 测试 需 
要 对 程序 逻辑 、 功 能 、 数 据 和 安全 性 等 各 方面 进行 测试 。 

如 图 4-3 所 示 ， 单 元 测试 的 主要 任务 包括 5 个 方面 的 内 容 。 

1) 模块 接口 测试 

模块 接口 测试 是 单元 测试 的 基础 。 也 就 是 说 ， 在 单元 测试 开始 时 ， 首 先 应 当 检 查 模块 的 输 
入 和 输出 数据 流 是 否 正 确 。 如 果 一 个 模块 不 能 正确 地 接收 数据 和 输出 数据 ， 那 么 后 续 其 他 内 容 
的 单元 测试 就 变 得 没有 意义 了 。 执 行 模块 接口 测试 时 一 般 使 用 如 下 检查 表 。 
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为 模块 输入 的 实际 参数 与 形式 参数 在 数量 上 是 否 一 致 ， 类 型 是 否 匹 配 ， 所 使 用 单位 是 
再 = 埃 。 
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4-3 ”单元 测试 的 主要 任务 


调用 其 他 模块 时 ， 传 到 被 调用 模块 的 实际 参数 与 被 调用 模块 的 形式 参数 在 数量 上 是 否 
相同 ， 类 型 是 否 匹配 ， 所 使 用 单位 是 否 一 致 。 

引用 内 部 函数 时 ， 实 际 参数 的 数量 、 属 性 和 次 序 是 否 正确 。 

当 模块 有 多 个 入 口 时 ， 是 否 引用 了 与 当前 入 口 无 关 的 参数 。 

是 否 修改 了 只 读 型 参数 。 

在 经 过 不 同 模块 时 ， 全 局 变量 的 定义 是 否 一 致 。 

限制 条 件 是 否 以 形式 参数 的 形式 传递。 

使 用 外 部 资源 时 ， 如 使 用 内 存 、 文 件 、 硬 盘 、 端 口 时 ， 是 否 检查 了 这 些 外 部 资源 的 可 
用 性 并 及 时 释放 了 资源 。 


ee et 


文件 的 属性 是 否 正确 。 

文件 Open 与 Close 语句 是 否 正确 。 

规定 的 格式 是 否 与 VO 语句 相符 。 

缓冲 区 的 大 小 与 记录 的 大 小 是 否 匹 配 。 

在 使 用 文件 前 ， 文 件 是 否 已 打开 ， 结 束 处 理 后 是 否 关闭 了 文件 。 
VO 错误 是 否 检查 并 做 了 处 理 。 

在 输出 信息 中 是 否 有 文字 性 错误 。 


2 模块 局 部 数据 结 寺 构 测试 
rd 见 的 错误 来 源 ， 应 当 在 单元 测试 中 重点 检查 以 下 各 种 错误 。 


不 正确 或 不 一 致 的 数据 类 型 说 明 。 

使 用 了 没有 赋值 或 尚未 初始 化 的 变量 以 及 错误 的 初始 值 或 默认 值 。 
变量 名 拼写 或 缩写 错误 。 

数据 类 型 不 相 容 。 

数据 越界 。 

非法 指针 。 


3) 模块 独立 路 径 测试 
对 程序 执行 路 径 的 测试 是 单元 测试 的 主要 内 容 ， 应 当 对 模块 中 所 有 独立 可 执行 路 径 进行 测 
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试 ， 检 查 由 于 判定 错误 、 控 制 流 错误 、 计 算 错误 导致 的 程序 错误 。 对 于 重要 的 执行 路 径 要 进行 
重点 测试 ， 重 要 的 执行 路 径 是 指 那些 完成 主要 算法 、 程 序 控制 、 数 据 处 理 等 重要 功能 的 执行 路 
径 ， 也 包括 由 于 逻辑 复杂 而 易 错 的 路 径 。 

在 独立 路 径 测试 中 所 要 检查 的 错误 包括 : 错误 的 计算 优先 级 、 算 法 错误 、 无 法 执行 到 的 代 
码 、 初 始 化 不 正确 、 运 算 精度 错误 、 比 较 运算 错误 、 表 达 式 符 号 错误 、 循 环 变量 使 用 错误 等 。 
独立 路 径 的 正确 执行 与 判定 和 条 件 中 的 比较 操作 密切 相关 ， 测 试 时 需要 注意 以 下 由 于 比较 操作 
引发 的 错误 。 

e 不 同 数 据 类 型 的 比较 。 

。 不 正确 的 逻辑 运算 符 或 优先 级 次 序 。 

两 个 值 应 当 相 等 ， 但 因 浮 点 运算 精度 问题 导致 实际 不 相等 的 错误 。 
关系 表达 式 中 存在 不 正确 的 变量 和 比较 符 。 

不 正常 或 不 存在 的 循环 条 件 ， 经 常 表现 为 “ 差 1 错 ”。 

当 遇 到 发 散 的 循环 或 迭代 时 无 法 终止 循环 。 

e 错误 地 修改 循环 变量 。 

4 出 错 处 理 测试 

用 户 对 于 程序 错误 非常 敏感 ， 为 了 提高 程序 的 健壮 性 和 容错 性 ， 模 块 中 经 常 存在 针对 各 种 
错误 的 处 理 路 径 。 程 序 的 每 一 行 代码 都 可 能 被 执行 到 ， 因 此 不 能 认为 错误 发 生 的 概率 很 小 而 不 
去 进行 测试 。 一 般 出 错 处 理 测试 需要 考虑 以 下 一 些 可 能 的 错误 。 

。 对 错误 的 处 理 不 正确 ， 如 未 做 处 理 、 没 有 进行 真实 详细 记录 、 没 有 通知 用 户 等 。 
错误 描述 难以 理解 ， 无 法 根据 描述 对 错误 定位 。 
显示 的 错误 与 实际 错误 不 一 致 。 

在 对 错误 进行 处 理 之 前 ， 错 误 条 件 已 经 引起 系统 的 干预 。 
在 资源 使 用 前 后 ， 程 序 没有 对 可 能 出 现 的 错误 进行 检查 。 

5) 边界 条 件 测试 

边界 条 件 测试 是 单元 测试 的 最 后 一 项 任务 。 需 要 采用 边界 值 分 析 法 ， 测 试 数据 流 、 控 制 流 
中 刚好 等 于 、 大 于 或 小 于 某 一 比较 值 时 出 错 的 可 能 性 。 此 外 ， 如 果 对 模块 性 能 有 要 求 的 话 ， 还 
需要 确定 最 坏 情况 下 和 平均 意义 下 影响 模块 性 能 的 因素 。 以 下 是 一 些 边界 条 件 测试 需要 检查 的 
内 容 。 


边界 内 最 接近 边界 的 (合法 ) 数 据 是 否 能 正确 处 理 。 
边界 外 最 接近 边界 的 (非法 ) 数 据 是 否 能 正确 处 理 。 
n 次 循环 的 第 0 次、 第 1 次 、 第 n 次 是 否 有 错误 。 
运算 或 判断 中 取 最 大 值 、 最 小 值 时 是 否 有 错误 。 
数据 流 、 控 制 流 中 刚好 等 于 、 大 于 、 小 于 确定 的 比较 值 时 是 否 出 现 错误 。 


4.1.7 ”驱动 模块 与 桩 模块 


驱动 模块 和 桩 模块 是 单元 测试 中 经 常用 到 的 两 个 重要 概念 。 
e ”驱动 模块 (Driver) 也 称 为 驱动 程序 ， 是 用 于 模拟 被 测 模块 的 上 级 模块 ， 能 够 调用 被 测 模 
块 。 当 被 测 模块 是 底层 模块 时 ， 需 要 编写 驱动 模块 。 
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e 桩 模块 (Sub) 也 称 为 存根 程序 ， 用 于 模拟 程序 结构 中 被 测 模块 调用 的 下 级 模块 。 当 被 测 
模块 是 上 层 模块 时 ， 需 要 编写 桩 模块 。 

软件 模块 在 编写 完成 ， 经 过 编码 规范 、 语 法 检查 等 静态 测试 之 后 ， 就 需要 通过 测试 用 例 动 
态 验证 软件 模块 的 正确 性 。 但 是 ， 一 个 被 测 模块 不 是 孤立 存在 的 ， 总 是 与 软件 结构 中 的 周围 模 
块 存在 调用 或 被 调用 的 关系 。 因 此 ， 被 测 模块 一 般 是 无 法 单独 运行 的 ， 需 要 根据 程序 结构 ， 模 
拟 构建 与 其 相连 的 其 他 辅助 模块 以 完成 单元 测试 任务 。 

例如 ， 在 图 4-4 所 示 的 程序 结构 图 中 ， 如 果 各 个 模块 由 不 同 的 开发 人 员 并 行 开 发 ， 开 发 进 
度 自然 会 有 所 不 同 。 假 设 模块 C 被 首先 开发 完成 ， 需 要 对 其 进行 单元 测试 。 模 块 C 需要 通过 项 
层 模块 A 的 调用 才能 运行 ， 并 且 其 完整 功能 需要 通过 调用 模块 E 和 了 下 才能 实现 ， 此 时 模块 A、 
E 和 了 还 未 开发 完成 。 那 么 ， 模 块 C 的 单元 测试 工作 该 如 何 完成 呢 ? 


区 到 CE 
D | | F 
图 4-4 程序 结构 图 


首先 ， 需 要 像 图 4-5 所 示 的 那样 , 编写 两 个 模块 SE 和 SF 用 来 代替 和 模拟 模块 E 和 下 ， 调 用 
SE 和 SF 的 方法 与 调用 模块 E 和 下 的 方法 相同 ， 例 如 函数 名 、 传 递 的 参数 和 返回 值 都 相同 。 然 
后 ,编写 模块 DA， 代 蔡 和 模 拟 模块 A。 模 块 DA 中 包含 调用 模块 C 和 接收 返回 结果 的 语句 。 模 
块 SE 和 SE 就 是 桩 模块 ， 模 块 DA 就 是 驱动 模块 。 这 样 就 构成 了 测试 环境 ， 能 够 对 模块 C 进行 
独立 的 单元 测试 了 。 

当然 ， 驱 动 模块 和 桩 模块 仅仅 模拟 相关 模块 的 功能 ， 只 需要 实现 必要 的 模拟 功能 。 驱 动 模 
块 启动 被 测 模块 ， 接 收 测试 数据 ， 将 测试 数据 传送 给 被 测 模块 并 输出 测试 用 例 的 测试 结果 。 桩 
模块 只 做 少量 的 数据 处 理 ， 如 简单 条 件 判 断 和 返回 ， 模 拟 被 测 模块 所 需要 的 调用 结果 即 可 。 


驱动 模块 DA 
测试 结果 


被 测 模块 C 


至 
| 袜 模 块 Se | | 柱 模块 Sr | 
图 4-5 ”驱动 模块 与 桩 模块 
编写 驱动 模块 和 桩 模块 给 单元 测试 造成 了 “额外 ”的 负担 ， 这 些 辅助 模块 并 不 会 作为 最 终 
产品 提交 给 用 户 。 特 别 是 对 于 中 间 层 的 单元 模块 ， 一 般 情况 下 很 可 能 既 需 要 编写 驱动 模块 又 需 
要 编写 桩 模块 。 如 果 被 测 模块 的 上 下 级 模块 中 已经 有 经 过 单元 测试 的 模块 ， 那 么 可 以 直接 使 用 
以 减少 一 定 的 工作 量 。 需 要 合理 划分 被 测 单元 模块 的 大 小 ， 以 减少 驱动 模块 和 桩 模块 的 数量 。 
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另外 ， 根 据 实际 情况 ， 对 一 些 模块 间接 口 的 全 面 深入 检查 可 以 放 在 集成 测试 阶段 进行 。 但 是 ， 
在 单元 测试 中 编写 驱动 模块 和 桩 模块 是 一 项 必须 完成 的 工作 ， 否 则 无 法 起 到 隔离 其 他 单元 模块 
影响 、 限 制 出 错 范围 、 准 确定 位 和 排除 错误 的 测试 效果 ， 也 就 霄 失 了 单元 测试 的 实际 意义 。 


区 集成 测试 


软件 开发 过 程 中 ， 需 要 将 经 过 单元 测试 的 软件 模块 根据 软件 结构 设计 要 求 连接 起 来 ， 组 成 
规模 更 大 的 程序 部 分 ， 如 子 系统 或 系统 。 实 践 证 明 ， 即 使 模块 能 够 单独 正确 运行 ， 也 并 不 能 保 
证 将 许多 模块 集成 在 一 起 后 仍然 能 够 正常 运行 。 因 此, 集成 测试 也 被 称 为 部 件 测试 、 组 装 测试 、 
联合 测试 或 子 系统 测试 ， 主 要 测试 组 合 在 一 起 的 软件 单元 能 否 正常 工作 ， 是 单元 测试 和 系统 测 
试 之 间 的 过 渡 阶 段 。 


4.2.1 ”对 于 集成 测试 的 基本 认识 


软件 单元 只 有 通过 集成 才能 形成 有 机 的 整体 ， 所 以 无 论 软件 项 目 采 用 何 种 开发 模式 ， 集 成 
测试 都 是 必 经 阶段 。 实 践 证 明 ， 在 软件 单元 的 集成 过 程 中 几乎 都 会 出 现 问题 ， 尤 其 对 于 大 型 复 
杂 系 统 来 说 更 是 如 此 。 因 此 ， 直 接 从 单元 测试 跳跃 到 集成 测试 的 做 法 会 欲 速 而 不 达 。 通 过 理解 
如 下 有 关 集 成 测试 的 基本 内 容 ， 有 助 于 建立 正确 的 、 工 程 化 的 软件 测试 思想 。 
1) 集成 测试 的 对 象 是 什么 
集成 测试 的 对 象 是 已 经 通过 单元 测试 的 软件 单元 ， 更 准确 地 说 是 这 些 软件 单元 的 集合 体 。 
未 经 过 单元 测试 就 进行 集成 测试 会 面临 软件 单元 缺陷 过 多 、 错 误 定 位 困难 、 排 错 成 本 大 幅 增 加 
等 诸多 问题 。 
2) 集成 测试 的 主要 任务 是 什么 
在 实际 工作 中 我 们 经 常会 发 现 ， 由 不 同 程序 员 开发 的 每 个 模块 都 能 很 好 地 单独 工作 ， 都 通 
过 了 单元 测试 ， 但 是 把 它们 按 结构 关系 组 合 在 一 起 后 却 无 法 正常 工作 。 造 成 这 种 情况 的 主要 原 
因 是 ， 模 块 间 通 过 接口 进行 相互 调用 时 程序 出 现 了 问题 。 为 了 解决 上 述 问题 ， 集 成 测试 主要 针 
对 以 下 几 个 方面 进行 测试 。 
。 模块 间 的 数据 传输 是 否 有 问题 ， 数 据 是 否 在 模块 接口 处 丢失 。 这 就 需要 测试 各 个 模块 
间 能 否 通过 接口 以 正确 、 稳 定 和 一 致 的 方式 进行 交互 。 

e 一 个 模块 的 程序 是 否 对 其 他 模块 的 功能 产生 错误 的 影响 。 例 如 ， 一 个 模块 的 程序 长 时 
间 、 过 多 地 占用 CPU、 内 存 等 必要 的 计算 资源 ， 使 得 其 他 模块 的 功能 无 法 正常 运行 。 

e 全 局 数据 结构 是 否 出 现 设 计 和 运行 错误 。 由 于 全 局 数据 结构 的 存在 ,使 得 软件 模块 “高 
内 聚 、 低 耦合 ”的 程度 降低 。 软 件 运行 时 多 个 模块 对 同一 个 全 局 数据 结构 的 读 写 操作 
可 能 会 产生 数据 不 一 致 的 问题 ， 需 要 检查 全 局 数据 结构 是 否 设计 合理 ， 多 个 模块 对 全 
局 数据 结构 的 操作 时 序 是 否 正确 ， 数 据 库 操作 的 事务 控制 机 制 是 否 健全 。 

e 模块 组 合 在 一 起 后 ， 整 体 功能 是 否 满足 需求 和 设计 要 求 。 避 免 出 现 子 模块 分 别 实现 各 
自 功能 ， 但 组 合 后 无 法 实现 主体 功能 的 情况 。 

e 各 个 模块 的 误差 积累 在 一 起 之 后 ， 积 累 误差 达到 无 法 接受 的 程度 。 这 种 情况 在 集成 测 
试 中 经 常会 出 现 ， 也 很 容易 被 忽视 。 例 如 ， 单 个 产品 库存 价格 和 实际 销售 价格 可 能 存 
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在 几 分 钱 的 误差 ， 误 差 积累 到 一 定 程度 后 ， 销 售 收入 和 库存 成 本 数值 无 法 一 致 且 差 距 
较 大 。 又 例如 ， 单 个 模块 的 响应 时 间 与 设计 要 求 有 一 定 误差 ， 多 个 模块 集成 后 系统 响 
应 时 间 无 法 满足 要 求 。 
3) 什么 时 候 开始 集成 测试 
从 理论 上 讲 ， 集 成 测试 应 当 在 单元 测试 之 后 进行 。 但 是 在 实际 工作 中 ， 单 元 测试 和 集成 测 
试 往往 是 同时 进行 的 。 不 可 能 等 到 所 有 的 单元 测试 都 完成 后 才 开始 集成 测试 ， 这 样 的 测试 效率 
就 太 低 了 。 需 要 注意 的 是 , 由 于 静态 分 析 和 动态 分 析 技术 既 适 用 于 单元 测试 也 适用 于 集成 测试 ， 
只 不 过 集成 测试 的 重点 在 于 模块 间接 口 检查 ， 这 就 造成 很 多 国内 软件 公司 经 常 将 集成 测试 划 归 
单元 测试 ， 使 得 集成 测试 的 起 始 时 间 变 得 很 模糊 。 另 外 要 注意 的 是 ， 集 成 测试 的 计划 和 设计 工 
作 实际 上 在 系统 结构 设计 阶段 就 已 经 同步 开始 了 ， 在 进入 详细 设计 之 前 要 尽 可 能 完成 集成 测试 
方案 。 
4) 由 谁 来 负责 集成 测试 
集成 测试 一 般 是 由 开发 人 员 和 测试 人 员 共同 完成 的 ， 其 中 开发 人 员 所 负责 完成 的 工作 通常 
更 多 一 些 。 由 于 集成 测试 所 涉及 的 具体 细节 内 容 仍 然 较 多 ， 因 此 在 集成 测试 的 前 期 阶段 ， 也 就 
是 集成 粒度 仍然 比较 小 的 阶段 ， 由 开发 人 员 或 白 盒 测 试 工程 师 来 完成 测试 。 在 系统 级 大 粒度 的 
后 期 集成 测试 阶段 ， 测 试 工作 一 般 由 专门 的 测试 部 门 完 成 。 集 成 测试 的 全 程 测试 工作 都 应 当 在 
测试 人 员 的 监督 之 下 完成 ， 测 试 负责 人 要 保证 测试 工作 采用 了 合理 可 行 的 技术 ， 完 成 了 充分 的 
集成 测试 ， 满 足 了 质量 控制 目标 。 
5) 集成 测试 的 依据 是 什么 
集成 测试 的 主要 依据 是 软件 概要 设计 说 明 书 。 集 成 测试 与 软件 开发 的 概要 设计 阶段 相对 应 ， 
以 概要 设计 所 规定 的 系统 软件 体系 结构 作为 测试 用 例 的 设计 基础 。 在 软件 概要 说 明 中 ， 详 细 描 
述 了 系统 或 子 系统 的 模块 分 层 组 织 结构 以 及 模块 间 的 接口 ， 为 集成 测试 的 策略 选择 提供 了 主要 
的 参考 依据 。 同 时 ， 集 成 测试 也 服务 于 系统 架构 设计 ， 可 以 检验 出 在 系统 软件 架构 设计 中 可 能 
存在 的 错误 以 及 不 合理 之 处 。 
6) 如 何 准备 集成 测试 数据 
集成 测试 与 单元 测试 一 样 ， 一 般 不 使 用 真实 数据 。 集 成 测试 主要 是 为 了 检测 构成 系统 的 各 
模块 之 间 是 否 能 够 正确 地 集成 在 一 起 ， 在 运行 时 是 否 能 够 正确 地 交互 ， 因 此 测试 数据 在 内 容 和 
难度 上 要 求 一 般 不 是 很 高 。 通 常 由 测试 人 员 根据 系统 设计 要 求 手工 创建 测试 数据 ， 重 点 是 创建 
具有 代表 性 的 模块 间 通 信 数 据 以 验证 接口 的 正确 性 。 
7) 集成 测试 所 采用 的 主要 技术 是 什么 
集成 测试 主要 采用 黑 盒 测 试 方法 ， 以 白 盒 测 试 方法 作为 辅助 。 但 是 ， 随 着 当前 软件 规模 和 
复杂 度 的 不 断 提 高 ， 大 型 软件 系统 越 来 越 多 。 模 块 层次 、 数 量 以 及 交互 性 的 增加 使 得 系统 逻辑 
结构 变 得 更 为 复杂 ， 因 此 经 常会 采用 白 盒 测试 方法 来 辅助 进行 集成 测试 。 例 如 ， 利 用 基本 路 径 
测试 法 检查 模块 集成 后 的 系统 流程 是 否 正 确 。 从 这 一 实际 情况 来 讲 ， 可 以 把 集成 测试 归结 为 灰 
盒 测试 。 
8) 如 何 划分 集成 测试 的 测试 层次 
对 传统 软件 进行 集成 测试 时 ， 可 以 根据 集成 粒度 将 测试 过 程 分 为 以 下 3 个 层次 。 
e 模块 之 间 的 集成 测试 。 
e 单个 子 系统 中 的 集成 测试 。 
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e 子 系统 之 间 的 集成 测试 。 

对 面向 对 象 的 软件 系统 进行 集成 测试 时 ， 同 样 可 以 根据 集成 粒度 将 测试 过 程 分 为 以 下 3 个 
层次 。 

e 单个 类 中 的 集成 测试 。 

e 具有 关联 性 的 类 间 集 成 测试 。 

。 构成 组 件 的 组 件 内 类 簇 集成 测试 。 

需要 注意 的 是 ， 集 成 测试 具有 可 迁 代 性 。 软 件 开发 以 迭代 的 模式 进行 是 一 种 常见 情况 ， 开 
发 过 程 的 迭代 会 直接 驱动 集成 测试 过 程 同样 以 进 代 方式 进行 。 这 种 情况 下 ， 集 成 测试 工作 会 按 
照 测试 层次 反复 进行 。 

9) 集成 测试 的 通过 标准 是 什么 

软件 项 目的 集成 测试 通过 标准 必须 在 软件 测试 计划 中 明确 说 明 。 不 同 软件 企业 的 集成 测试 
通过 标准 会 有 所 不 同 ， 但 是 都 离 不 开 功能 覆盖 率 和 接口 覆盖 率 这 两 个 指标 。 功 能 覆盖 中 最 主要 
的 就 是 对 于 软件 需求 的 覆盖 ， 需 要 通过 设计 合适 数量 的 集成 测试 用 例 ， 使 得 所 有 的 功能 需求 点 
都 能 够 被 测试 到 。 相 比 于 功能 覆盖 率 ， 接 口 覆 盖 率 对 于 集成 测试 更 为 重要 ， 是 集成 测试 需要 达 
到 的 主要 测试 指标 ， 要 求 尽 可 能 达到 100% 的 接口 覆盖 率 ， 使 得 软件 系统 中 的 每 个 接口 都 能 够 
被 测试 到 。 


4.2.2 ”集成 测试 的 原则 


eat etd 

集成 测试 应 当 以 概要 设计 为 基础 ， 尽 早 计 划 、 设 计 与 实施 。 

对 于 概要 设计 中 有 关 模块 和 接口 的 划分 ， 测 试 和 开发 人 员 需 要 充分 理解 沟通 。 
在 选择 集成 测试 策略 时 要 以 工程 化 思维 ， 综 合 考虑 测试 质量 、 进 度 和 成 本 。 
集成 测试 用 例 必须 经 过 正规 审核 。 

集成 测试 必须 根据 集成 测试 计划 和 设计 进行 ， 要 避免 随意 性 。 

集成 测试 应 当 按 一 定 的 层次 进行 。 

对 于 关键 模块 和 包含 IO 的 模块 要 尽早 进行 充分 的 测试 。 

所 有 的 模块 公共 接口 都 必须 被 测试 到 。 

当 模块 接口 被 修改 后 ， 接 口 所 涉及 的 所 有 模块 要 重新 进行 集成 测试 。 

应 当 如 实 记录 测试 用 例 的 执行 结果 。 

当 满足 测试 计划 中 所 规定 的 结束 标准 时 ， 集 成 测试 才能 结束 。 


4.2.3 ”集成 测试 与 系统 测试 的 区 别 


初学 者 很 容易 混淆 集成 测试 和 系统 测试 这 两 个 测试 阶段 ， 会 认为 随 着 软件 模块 的 不 断 集 成 
与 测试 ， 自 然而 然 也 就 完成 了 系统 测试 。 这 种 观点 在 一 定 程度 上 不 能 完全 说 是 错误 ， 因 为 对 于 
一 般 的 小 系统 来 讲 区 分 不 是 很 大 ， 在 测试 工作 中 两 个 测试 阶段 的 划分 不 是 很 严格 。 此 外 ， 持 续 
集成 和 高 频 集成 等 集成 测试 方法 的 应 用 也 一 定 程度 上 使 得 集成 测试 和 系统 测试 的 边界 变 得 模 
糊 。 但 是 ， 开 发 大 型 复杂 系统 需要 严格 和 规范 化 的 测试 过 程 。 只 有 正确 理解 了 集成 测试 和 系统 
测试 的 不 同 之 处 ， 才 能 建立 正规 化 和 工程 化 的 软件 测试 思想 。 集 成 测试 和 系统 测试 的 主要 区 别 
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反映 在 以 下 几 个 方面 。 


4.2.4 


测试 的 起 始 时 间 不 同 。 在 系统 需求 分 析 阶 段 就 需要 同步 制定 系统 测试 计划 并 开始 设计 
系统 测试 用 例 ， 而 集成 测试 计划 和 用 例 设计 是 在 概要 设计 阶段 开始 进行 的 。 从 测试 的 
执行 上 讲 ， 需 要 先 执行 集成 测试 ， 等 到 发 现 的 软件 缺陷 都 成 功 修复 后 再 进行 系统 测试 。 
测试 的 对 象 不 同 。 集 成 测试 的 对 象 是 集成 后 的 模块 组 合体 ， 而 系统 测试 的 对 象 是 包括 
软件 及 其 附属 硬件 在 内 的 整个 软 硬 件 系统 。 

测试 的 主要 任务 不 同 。 集 成 测试 主要 针对 模块 之 间 的 接口 进行 测试 ， 以 检查 模块 集成 
后 能 否 协同 工作 ; 而 系统 测试 的 主要 任务 是 对 已 经 集成 好 的 软件 系统 进行 彻底 测试 
以 验证 软件 系统 在 功能 和 性 能 等 方面 是 否 已 满足 规定 好 的 各 项 软件 需求 。 系 统 测试 往 
往 用 于 完成 软件 界面 测试 、 压 力 测试 、 兼 容 性 测试 、 性 能 测试 和 安全 测试 等 功能 和 非 
功能 性 测试 。 

测试 方法 不 同 。 集 成 测试 采用 的 是 以 黑 盒 测试 为 主 、 白 盒 测 试 为 辅 的 灰 盒 测试 ， 而 系 
统 测试 通常 采用 的 是 黑 盒 测 试 方法 。 

测试 依据 不 同 。 集 成 测试 依据 的 主要 是 软件 概要 说 明 ， 而 系统 测试 依据 的 主要 是 软件 
需求 规格 说 明 ， 这 一 区 别 是 由 两 个 测试 阶段 主要 任务 的 不 同 决定 的 。 

测试 角度 不 同 。 集 成 测试 通常 是 从 开发 人 员 的 角度 检查 系统 和 发 现 软件 缺陷 ， 而 系统 
测试 更 多 的 是 站 在 用 户 的 角度 进行 测试 ， 以 验证 所 开发 的 软件 系统 在 规定 的 软 硬 件 环 
境 下 能 否 正常 工作 。 

测试 用 例 的 粒度 不 同 。 系 统 测 试用 例 反 映 的 是 系统 主要 功能 和 性 能 特征 ， 粒 度 一 般 较 
大 ， 用 户 能 够 比较 容易 地 理解 和 接受 。 集 成 测试 用 例 比 系统 测试 用 例 的 粒度 要 小 ， 用 
例 更 为 详细 ， 反 映 的 主要 是 模块 接口 特征 。 

测试 用 例 的 数量 不 同 。 由 于 系统 测试 关注 的 主要 是 整个 系统 的 外 部 使 用 功能 和 性 能 表 
现 ， 因 此 一 般 来 说 系统 测试 用 例 的 数量 要 比 集成 测试 用 例 的 数量 少 ， 具 体 数量 是 由 特 
定 项 目 所 规定 的 系统 测试 范围 和 测试 深度 决定 的 。 


集成 测试 的 策略 与 模式 


集成 测试 的 策略 有 很 多 ， 如 大 爆炸 集成 、 自 项 向 下 集成 、 自 底 向 上 集成、 三 明治 集成 、 基 
干 集成 、 核 心 集成 、 层 次 集成 、 高 频 集成 、 基 于 功能 的 集成 、 基 于 进度 的 集成 、 基 于 风险 的 集 
成 、 基 于 消息 事件 的 集成 、 基 于 使 用 的 集成 、 客 户 端 /服务 器 集成 、 分 布 式 集成 等 。 而 集成 模式 
是 集成 策略 的 具体 体现 ， 是 成 功 集成 经 验 的 总 结 。 可 以 说 ， 集 成 模式 的 选择 是 集成 测试 中 最 为 
关键 的 环节 ， 直 接 影响 到 集成 测试 的 充分 性 与 效率 。 本 节 将 对 一 些 主要 的 集成 测试 模式 进行 介 
绍 与 说 明 。 

1) 非 渐 增 式 集成 测试 模式 与 渐 增 式 集成 测试 模式 

集成 测试 总 的 来 讲 可 以 分 为 以 下 两 种 模式 。 


非 渐 增 式 集成 测试 模式 。 就 是 首先 对 每 一 个 模块 进行 单元 测试 ， 然 后 根据 程序 设计 结 
构 ， 将 所 有 模块 一 次 性 集成 在 一 起 进行 集成 测试 。 


e 渐 增 式 集成 测试 模式 。 与 一 步 到 位 式 的 非 渐 增 式 集成 模式 相反 ， 渐 增 式 集成 模式 采用 


逐步 集成 的 方式 ， 把 单元 测试 和 集成 测试 结合 起 来 进行 ， 将 被 测 模块 逐步 与 已 经 测试 
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好 的 模块 结合 在 一 起 进行 测试 。 

非 渐 增 式 集成 测试 模式 也 称 为 大 爆炸 集成 (Big Bang Integration)、 大 棒 模式 、 一 次 性 集成 、 
瞬时 集成 ， 是 将 所 有 模块 一 次 性 连接 起 来 ， 将 连接 后 的 程序 作为 整体 来 测试 。 图 4-6 是 一 个 非 
渐 增 式 集成 测试 模式 的 示例 。 图 4-6(a) 是 被 测 程序 的 结构 图 ， 图 4-6(b) 一 图 4-6(g) 是 测试 过 程 。 
分 别 为 各 模块 配备 相应 的 驱动 模块 和 桩 模块 以 完成 单元 测试 ， 然 后 将 各 模块 按 程 序 结构 图 连接 
在 一 起 进行 集成 测试 。 


总 
和 Le Se Sc 
(a) (b) (c) 
DA 
De Dc 
© 
D E 


(d) (©) (OD (© 
4-6 “ 非 渐 增 式 集成 测试 模式 示例 图 


非 渐 增 式 集成 测试 模式 的 优点 是 ， 适 合 于 比较 小 的 软件 项 目 ， 能 够 快速 完成 集成 测试 并 且 
所 需要 的 测试 用 例 很 少 。 另 外 ， 对 于 被 测 系统 已 经 很 稳定 ， 只 加 入 或 修改 少数 模块 的 情况 ， 也 
可 以 考虑 采用 这 种 模式 。 但 是 ， 对 于 一 般 的 大 中 型 软件 系统 来 讲 ， 这 种 模式 的 缺点 是 非常 明显 
的 。 一 次 性 集成 涉及 的 模块 过 多 ， 使 得 错误 的 定位 变 得 非常 困难 。 并 且 修 改 一 个 错误 后 ， 由 于 
模块 之 间 的 关系 比较 复杂 ， 可 能 会 引发 更 多 的 错误 。 如 果 系统 中 存在 很 多 接口 错误 ， 这 种 模式 
下 的 集成 测试 很 容易 失败 。 因 此 ， 对 于 大 中 型 软件 一 般 不 采用 非 渐 增 式 集成 测试 模式 。 

渐 增 式 集成 测试 模式 是 普遍 采用 的 模式 。 在 这 种 模式 下 ， 通 过 模块 集成 逐步 构建 完整 的 程 
序 ， 边 构建 边 测试 。 这 一 过 程 中 ， 发 现 的 错误 主要 由 新 增 模块 引起 ， 因 此 能 够 及 时 发 现 错误 ， 
能 够 比较 容易 地 定位 和 改正 错误 ， 对 模块 接口 的 测试 也 更 为 彻底 。 而 且 在 逐步 集成 的 过 程 中 
对 已 集成 模块 进行 了 多 次 检验 ， 因 此 可 以 取得 更 好 的 测试 效果 。 但 是 ， 渐 增 式 集成 测试 需要 编 
写 大 量 的 驱动 程序 和 桩 程序 ， 工 作 量 比较 大 。 总 的 来 讲 ， 渐 增 式 集成 测试 还 是 要 比 非 渐 增 式 集 
成 测试 更 能 保障 程序 的 质量 。 

目前 广泛 采用 的 各 种 集成 测试 模式 大 都 属于 渐 增 式 集成 测试 这 一 大 类 ， 它 们 体现 了 渐 增 方 
式 下 更 为 细致 的 一 些 集成 策略 。 在 接 下 来 的 内 容 中 ， 将 对 其 中 的 一 些 主要 集成 模式 进行 详细 
说 明 。 

2) 自 项 向 下 的 集成 测试 

自 项 向 下 的 集成 测试 按照 软件 模块 在 设计 中 的 层次 结构 ， 从 上 到 下 逐步 进行 集成 和 测试 。 
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先 从 最 上 层 的 主 控 模块 开始 ， 再 沿 着 软件 的 模块 层次 向 下 移动 ， 逐 步 将 软件 所 包含 的 模块 集成 
在 一 起 。 这 种 测试 模式 又 分 为 深度 优先 和 广度 优先 两 种 集成 策略 ， 例 如 按照 图 4-6(a) 所 示 的 程 
序 结构 进行 集成 时 ， 深 度 优先 的 模块 集成 顺序 为 A 一 B 一 D 一 C 一 E 一 F， 广度 优先 的 模块 集成 顺 
序 为 A 一 B 一 CD 一 E 一 F。 具 体 的 集成 测试 过 程 包括 以 下 一 些 步骤 。 

Q 首先 完成 对 主 控 模 块 的 测试 ， 用 桩 模块 代替 主 控 模 块 调用 的 下 层 模块 。 

@ 根据 深度 优先 或 广度 优先 策略 , 每 次 用 一 个 实际 模块 蔡 换 一 个 桩 模块 。 如 果 新 增 模块 具 
有 下 层 调用 模块 ， 则 用 桩 模块 代替 这 些 被 调用 模块 。 

@ 每 增加 一 个 模块 的 同时 都 要 进行 测试 。 

@ 进行 必要 的 回归 测试 以 保证 增加 的 模块 没有 引起 新 的 错误 。 

@ 从 步骤 开始 重复 进行 ， 直 到 所 有 的 模块 都 被 集成 到 系统 中 。 

仍 以 图 4-6(a) 所 示 的 程序 结构 为 例 , 图 4-7 给 出 了 按照 深度 优先 方式 进行 自 顶 向 下 集成 测试 
的 示例 。 如 果 首先 选择 最 左边 的 分 支 路 径 进 行 集成 ， 则 先 将 模块 A、B、D 集成 在 一 起 ， 再 将 
模块 C、E、F 集成 在 一 起 ， 注 意 集成 过 程 中 需要 配备 相应 的 桩 模块 。 同 样 的 原理 可 以 实现 广度 
优先 策略 下 自 项 向 下 的 集成 测试 。 


图 4-7 深度 优先 的 自 项 向 下 集成 测试 示例 


自 项 向 下 方式 的 主要 优点 是 

e 一 般 不 需要 开发 驱动 程序 ， 只 需要 开发 桩 程序 。 

e ”由 于 上 层 模 块 更 多 地 体现 了 系统 的 主要 功能 和 控制 逻辑 ， 因 此 能 够 在 测试 中 较 早 地 验 
证 这 些 主要 功能 和 发 现 接口 错误 。 因此， 有 利于 从 系统 全 局 角度 抓 住 测试 重点 ， 对 系 
统 功能 进行 比较 全 面 的 测试 ， 同 时 也 便于 控制 测试 进度 。 

e ”如 果 采 用 深度 优先 策略 ， 能 够 在 早期 实现 系统 的 一 些 完整 功能 ， 增 强 开 发 人 员 和 用 户 
的 信心 。 

e 底层 接口 未 做 充分 定义 或 修改 的 可 能 性 较 大 时 ， 可 以 避免 过 早 地 提交 不 稳定 的 接口 ， 


109 


TT、 


进而 避免 对 测试 进度 造成 影响 。 
自 项 向 下 方式 的 主要 缺点 是 
。 需要 开发 大 量 的 桩 程序 ， 测 试 工作 量 较 大 。 由 于 越 往 下 层 的 模块 数量 越 多 ， 通 常 桩 程 
序 的 数量 会 明显 多 于 驱动 程序 的 数量 。 
。 在 测试 开始 时 涉及 的 模块 较 少 ， 无 法 做 到 并 行 测试 ， 影 响 测试 效率 。 
。 底层 模块 中 的 错误 发 现 得 较 晚 。 
e 完全 依赖 桩 程序 会 给 测试 造成 一 定 的 困难 。 例 如 ， 桩 程序 不 能 模拟 真实 数据 时 ， 测 试 
可 能 不 充分 ; 在 没有 集成 IO 模块 前 ,用 桩 模块 很 难 模拟 大 量 输入 输出 数据 : 具体 的 功 
能 实现 主要 由 底层 模块 完成 ， 因 此 未 集成 底层 模块 前 ， 观 察 和 解释 测试 结果 往往 比较 
困难 。 
3) 自 底 向 上 的 集成 测试 
顾名思义 , 自 底 向 上 的 方法 与 自 项 向 下 的 方法 正好 相反 , 是 从 软件 结构 的 最 底层 模块 开始 ， 
自 下 而 上 地 逐步 完成 模块 的 集成 和 测试 工作 。 由 于 下 层 模块 的 实际 功能 都 已 开发 完成 ， 因 此 在 
集成 过 程 中 就 不 需要 开发 桩 模块 了 ， 只 需要 开发 相应 的 上 层 驱动 模块 即 可 。 
图 4-8 是 一 个 简单 的 自 底 向 上 集成 测试 示例 。 在 软件 的 程序 结构 中 ， 从 下 往 上 自然 会 形成 
一 些 如 图 4-8(a) 所 示 的 功能 族 ， 它 们 代表 程序 的 子 功能 。 自 底 向 上 集成 测试 时 ， 通 常 根据 功能 
族 的 划分 对 模块 逐步 进行 集成 ， 形 成 不 同 粒度 的 功能 族 并 进行 测试 。 然 后 通过 合并 已 测试 过 的 
功能 族 ， 逐 渐 扩 大 功能 族 的 粒度 以 反映 系统 的 主要 功能 。 图 4-.8Cb) 反 映 了 这 一 集成 测试 过 程 。 


D E 下 


(a) 程序 结构 中 的 功能 族 (b) 自 底 向 上 的 集成 测试 过 程 
图 4-8 自 底 向 上 的 集成 测试 示例 


具体 的 自 底 向 上 集成 测试 过 程 包括 以 下 一 些 步 又 。 

Q@ 将 底层 模块 组 合成 实现 某 一 特定 系统 子 功能 的 功能 族 。 

@ 编写 驱动 程序 ， 能 够 调用 已 组 合 的 模块 ， 并 协调 测试 数据 的 输入 与 输出 。 

@ 对 组 合 模块 构成 的 子 功能 族 进行 测试 。 

外 去 掉 驱 动 程序 , 沿 着 软件 结构 从 下 往 上 移动 ， 将 已 测试 过 的 子 功能 族 组 合 在 一 起 ,形成 
更 大 粒度 的 子 功能 族 。 

@ 从 步骤 @ 开 始 重复 进行 ， 直 到 所 有 的 模块 都 被 集成 到 系统 中 。 

自 底 向 上 方式 的 优 缺 点 可 以 说 与 自 项 向 下 式 正好 相反 ， 主 要 优点 是 

e 不 需要 开发 桩 程序 而 只 需要 开发 驱动 程序 ， 一 般 来 说 驱动 程序 比较 容易 开发 。 

e 可 以 在 测试 早期 完成 对 软件 基础 功能 的 测试 ， 为 测试 高 层 功能 英 定 基础 。 

e 便于 按照 功能 族 的 划分 展开 并 行 测试 ， 大 大 提高 了 测试 的 效率 ， 缩 短 了 测试 周期 。 
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自 底 向 上 方式 的 主要 缺点 是 
e 起 到 控制 作用 的 上 层 关 键 模块 在 测试 后 期 才能 被 测试 到 ， 而 且 越 往 上 层 的 模块 对 系统 
的 影响 越 大 ， 反 而 被 测试 到 的 时 间 越 晚 。 如 果 发 现 高 层 模块 中 的 问题 ， 牵 扯 面 可 能 会 
很 大 ， 缺 陷 修复 会 比较 困难 ， 存 在 一 定 的 测试 风险 。 
e 需要 等 到 最 后 一 个 顶层 模块 被 集成 以 后 才能 看 到 整个 系统 的 框架 。 
。 只 有 到 测试 过 程 的 后 期 才能 发 现时 序 问 题 和 资源 竞争 问题 。 
4) 混合 集成 测试 
混合 集成 测试 又 称 为 三 明治 集成 测试 ， 它 将 自 项 向 下 和 自 底 向 上 两 种 方法 的 优点 综合 在 一 
起 ， 并 且 尽 可 能 克服 了 这 两 种 方法 的 缺点 。 测 试 中 ， 对 于 上 层 模 块 采用 自 项 向 下 的 集成 测试 ， 
而 对 于 下 层 模 块 采用 自 底 向 上 的 集成 测试 。 在 实际 工作 中 , 由 于 混合 集成 测试 的 测试 效率 很 高 ， 
因而 被 广泛 采用 。 
混合 集成 测试 包括 以 下 一 些 基本 步 又。 
Q 确定 软件 结构 的 某 一 层 为 中 间 层 。 
@ 以 中 间 层 作为 分 界 ， 上 层 采用 自 项 向 下 的 集成 测试 。 
@@ 对 中 间 层 及 其 下 层 采用 自 底 向 上 的 集成 测试 ， 中 间 层 模块 与 相应 的 下 层 模块 集成 。 
@ 对 集成 后 的 系统 进行 整体 测试 。 
图 4-9 给 出 了 一 个 简单 的 混合 集成 测试 示例 。 


(a) 软件 结构 (b) 测试 过 程 
图 4.9 混合 集成 测试 示例 


在 混合 集成 测试 中 应 当 灵 活 应 用 集成 策略 ， 尽 可 能 减少 开发 驱动 程序 和 桩 程序 的 工作 量 。 
例如 ， 在 图 4-8 所 示 的 示例 中 ， 模 块 C 与 其 下 层 模块 先进 行 集成 的 好 处 是 ， 只 需要 开发 一 个 驱 
动 模块 来 模拟 模块 A 调用 模块 C。 如 果 模 块 C 先 同上 层 模块 集成 ， 则 需要 开发 两 个 桩 模块 以 分 
别 模拟 模块 F 和 模块 G， 增 加 了 测试 开发 的 工作 量 。 

基本 的 混合 集成 测试 存在 一 个 缺点 ， 在 集成 过 程 中 某 些 模 块 并 没有 经 过 完整 的 单元 测试 。 
因此 ， 存 在 一 种 改进 的 混合 集成 测试 方法 ， 在 基本 的 混合 集成 测试 的 基础 上 ， 保 证 对 每 一 个 模 
块 都 进行 彻底 的 单元 测试 。 图 4-10 给 出 了 这 种 改进 后 的 混合 集成 测试 示例 。 
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A 
] 
B C [2 
E |[F]1Lae | 
(a) 软件 结构 (b) 测试 过 程 
图 4-10 改进 后 的 混合 集成 测试 示例 
混合 集成 测试 的 主要 优点 是 


e 能 尽早 发 现 错误 。 混 合集 成 测试 采用 了 持续 集成 测试 策略 ， 将 并 行 开发 过 程 中 不 同时 
间 完 成 的 模块 尽 可 能 早 地 集成 起 来 ， 以 便于 及 时 发 现 和 改正 错误 。 

。 测试 效率 高 。 混 合集 成 测试 采用 了 从 上 下 两 端 同时 推进 的 集成 方法 ， 已 经 测试 完 的 模 
块 可 以 作为 后 期 模块 的 驱动 程序 或 桩 程序 ， 大 大 减少 了 开发 驱动 程序 和 桩 程序 的 工作 
量 ， 这 也 正 是 混合 集成 测试 受到 广泛 欢迎 的 一 个 重要 原因 。 

混合 集成 测试 的 主要 缺点 是 : 

e 很 多 模块 实际 上 处 于 同步 集成 过 程 中 ， 一 定 程度 上 增加 了 定位 缺陷 的 难度 。 

e 自 项 向 下 和 自 底 向 上 两 种 方法 的 综合 运用 给 集成 测试 的 计划 与 控制 带 来 一 定 的 复杂 
和 难度 。 

5) 几 种 基本 集成 测试 模式 的 比较 

非 渐 增 式 一 次 性 集成 、 自 项 向 下 集成 、 自 底 向 上 集成 、 混 合集 成 和 改进 的 混合 集成 都 属于 

基本 的 集成 测试 模式 ， 表 4-1 对 上 述 测试 模式 的 优 缺 点 进行 了 综合 对 比 。 


表 4-1 几 种 基本 集成 测试 模式 的 比较 
[| 晚 | 早 | 早 | 


需要 驱动 程序 
需要 桩 程序 
工作 并 行 性 


计划 与 控制 


6) 核心 系统 先行 集成 测试 

一 些 软件 系统 在 组 成 方式 上 由 核心 系统 和 一 些 外 围 系统 或 者 说 辅助 系统 构成 ， 如 果 将 这 样 
的 系统 比喻 为 一 台 复杂 精密 的 机 器 ， 那 么 核心 系统 就 是 这 台 机 器 的 大 脑 ， 其 重要 性 不 言 而 喻 。 
同样 的 道理 ， 从 构成 某 一 系统 子 功能 的 模块 来 看 ， 某 个 或 几 个 模块 往往 是 这 些 模块 中 的 关键 模 
块 。 无 论 是 核心 系统 还 是 关键 性 模块 ， 它 们 一 般 都 具有 如 下 特征 。 

e 与 大 部 分 系统 或 模块 相关 联 。 如 果 有 问题 ， 则 整个 系统 或 子 系统 无 法 正常 运行 。 


112 


第 4 章 ， 软 件 测试 的 执行 阶段 


e 对 应 于 多 项 最 重要 的 系统 需求 。 

。 逻辑 结构 或 功能 复杂 、 易 出 错 。 

e 具有 重要 的 控制 功能 。 

e。 有 着 特殊 的 性 能 要 求 ， 如 实时 性 的 业务 处 理 速度 。 

很 多 系统 被 设计 为 以 核心 系统 为 中 心 的 软件 架构 ， 辅 助 功能 被 尽 可 能 剥离 到 外 围 系统 中 ， 
只 留 下 一 个 小 而 精 的 核心 系统 处 理 核心 业务 ， 即 所 谓 的 “ 瘦 核 心 ， 胖 外 围 ”。 业 务 流程 开始 于 
外 围 系统 ， 汇 总 到 核心 系统 完成 最 重要 的 处 理 ， 再 将 结果 反馈 给 外 围 系统 。 这 样 的 架构 具有 如 
下 一 些 优势 。 

e 能 够 快速 适应 需求 变化 。 需 求 变 化 时 只 是 增加 或 修改 外 围 功能 ， 核 心 系 统 的 基础 功能 

很 少 变化 ， 大 幅 降低 了 系统 维护 成 本 。 
e 核心 系统 或 核心 模块 可 以 由 高 级 开发 人 员 或 专门 的 团队 开发 ， 能 够 更 好 地 满足 技术 先 
进 性 、 系 统 可 靠 性 、 安 全 稳定 性 和 技术 保密 性 等 要 求 。 

核心 系统 先行 集成 测试 就 是 针对 此 类 系统 的 特点 ， 首 先 完成 对 核心 模块 、 核 心 组 件 、 核 心 
系统 的 集成 测试 工作 ， 重 点 保证 它们 的 质量 。 然 后 在 此 基础 之 上 ， 根 据 软件 架构 设计 要 求 ， 按 
照 从 重要 到 次 要 的 顺序 ， 逐 步 将 外 围 软件 部 分 与 核心 系统 集成 在 一 起 。 每 次 集成 一 个 外 围 软件 
部 件 后 ， 都 要 进行 软件 评估 与 审核 ， 产 生 软 件 基线 。 不 断 集成 外 围 部 件 ， 直 到 形成 完整 的 软件 
系统 。 集 成 过 程 是 一 个 使 系统 逐渐 稳定 、 定 型 的 过 程 。 

核心 系统 先行 集成 测试 主要 包括 以 下 步骤 。 

@ 完成 核心 系统 中 每 个 模块 的 单元 测试 。 

@ 完成 核心 系统 的 集成 构造 与 测试 。 根 据 核 心 系统 的 规模 , 可 以 采用 一 次 性 集成 测试 方法 ， 
也 可 以 采用 自 底 向 上 的 方法 ， 将 构成 核心 系统 的 模块 集成 在 一 起 。 

@ 根据 系统 的 体系 结构 设计 和 外 围 软 件 部 件 的 重要 程度 ,制定 外 围 软件 部 件 与 核心 系统 的 
集成 顺序 方案 ， 并 且 对 制定 的 方案 进行 评审 。 

@ 在 集成 外 围 软件 部 件 前 ， 首 先 完成 对 外 围 软 件 部 件 的 内 部 集成 测试 。 

@ 根据 集成 计划 逐步 集成 外 围 软件 部 件 并 进行 测试 ， 形 成 最 终 的 软件 系统 。 

核心 系统 先行 集成 测试 适用 于 能 够 明确 区 分 核心 部 件 和 外 围 部 件 的 软件 系统 ， 这 就 要 求 各 
部 件 内 部 的 功能 具有 较 高 的 内 聚 性 ， 而 部 件 之 间 耦 合 度 较 低 ， 尤 其 是 外 部 构件 之 间 要 做 到 尽 可 
能 松 耦 合 。 这 种 集成 测试 方法 的 主要 优点 是 保证 了 系统 重要 功能 和 性 能 的 质量 ， 有 利于 对 复杂 
系统 进行 快速 开发 与 测试 。 

7) 持续 集成 测试 

持续 集成 (Continuous Integration) 简 称 CI。 敏 捷 开 发 方法 的 创始 人 之 一 Martin Fowler( 见 图 
4-11) 对 什么 是 持续 集成 给 出 了 以 下 说 明 。 

持续 集成 是 一 种 软件 开发 实践 ， 倡 导 开 发 团队 的 成 员 经 3 
常 性 地 集成 他 们 的 工作 ， 通 常 每 人 每 天 至 少 集成 一 次 。 因 而 
对 于 整个 软件 项 目 来 讲 ， 每 天 都 会 有 许多 各 种 各 样 的 集成 。 - 
每 次 集成 都 需要 通过 自动 化 的 构建 与 测试 来 进行 验证 ， 从 而 
尽 可 能 快速 地 发 现 集成 错误 。 大 量 的 开发 实践 证 明 ， 这 种 方 
法 能 大 大 减少 集成 问题 ， 并 且 使 开发 团队 能 够 更 为 快速 地 开 
发 具有 内 桶 性 的 软件 。 


图 4-11 Martin Fowler 


113 


NT 有、 


持续 集成 测试 的 过 程 如 图 4-12 所 示 。 


3. 构建 程序 2. 取得 新 程序 

(Build) (Fetch Changes) 量 

EE -一 

4. 进行 测试 

(Tesd) CI 服务 器 源 程 序 版 本 控制 服务 器 

y (CI Server) (Source Control Server) 
5. 记录 结果 
(Fail or Succeed) 
6. 通知 测试 结果 1. 提交 新 程序 
(Notify Success or Failure) (Check In Changes) 
项 目 负责 人 程序 员 程序 员 


4-12 ”持续 集成 测试 的 过 程 


持续 集成 过 程 中 ， 新 开发 的 代码 会 频繁 地 与 主干 程序 集成 在 一 起 。 所 有 项 目的 代码 都 托管 
在 源 程序 版 本 控制 服务 器 上 ， 如 CVS(Concurrent Versions System)、SVN 服务 器 。 只 有 在 本 地 
计算 机 上 通过 单元 测试 的 代码 才能 上 传 到 源 程序 版 本 控制 服务 器 , 以 减少 后 期 集成 测试 的 问题 。 
由 于 需要 长 时 期 、 高 频率 地 完成 集成 测试 , 因此 持续 集成 测试 工作 需要 通过 测试 工具 自动 执行 ， 
如 持续 集成 测试 工具 Jenkins。CI 服务 器 会 不 断 查询 版 本 控制 库 的 变更 , 如 果 发 现 变更 就 检 出 变 
更 代码 ,执行 构建 脚本 。CI 服务 器 一 般 每 天 都 会 对 源 程序 版 本 控制 服务 器 上 的 最 新 代码 进行 一 
次 集成 测试 ， 这 一 过 程 可 以 设 定 在 每 天 晚上 自动 执行 ， 然 后 将 测试 结果 发 送 到 各 个 开发 人 员 的 
电子 邮箱 中 。 第 二 天 早上 上 班 时 ， 开 发 人 员 就 能 看 到 最 新 的 测试 结果 ， 可 以 根据 测试 结果 及 时 
修改 发 现 的 程序 错误 。 

从 持续 集成 过 程 可 以 看 出 ， 持 续集 成 具有 以 下 特点 。 

e 它 是 一 个 自动 化 的 、 周 期 性 的 集成 测试 过 程 ， 从 检 出 新 代码 、 编 译 构建 程序 、 执 行 测 
试 、 记 录 测 试 结果 、 测 试 统计 分 析 、 通 知 测试 结果 等 都 是 自动 完成 的 ， 人 工 方法 是 不 
胜任 的 。 

e 需要 在 规定 的 时 间 周 期 内 ， 能 够 持续 获得 新 的 、 己 通过 测试 的 增 量程 序 。 

e 测试 与 开发 工作 并 行进 行 。 

e 需要 有 源 程序 版 本 控制 系统 的 支持 ， 以 便于 保障 代码 的 版 本 一 致 性 ， 同 时 作为 程序 集 
成 构建 的 素材 库 。 

e 需要 专门 的 集成 测试 服务 器 来 执行 测试 。 

持续 集成 的 目的 就 是 适应 大 型 复杂 系统 的 快速 迭代 开发 和 多 人 并 行 开发 ， 使 开发 团队 能 够 

直观 地 看 到 软件 项 目的 有 效 进度 ， 同 时 还 能 保持 很 高 的 开发 质量 。 它 的 核心 措施 是 ， 新 代码 在 
集成 到 主干 程序 之 前 ， 必 须 通过 自动 化 的 集成 测试 。 只 要 有 一 个 测试 用 例 执 行 失败 ， 就 不 能 集 
成 。Martin Fowler 曾经 指出 : “持续 集成 并 不 能 消除 Bug， 而 是 让 它们 能 够 非常 容易 地 被 发 现 
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和 改正 。” 因 此 持续 集成 具有 以 下 主要 优点 。 

e 能 够 以 最 快 的 速度 及 时 发 现 新 开发 代码 中 的 问题 ， 然 后 尽早 予以 解决 ， 避 免 了 程序 问 
题 的 大 量 积 累 。 因 此 ， 能 够 保证 以 较 快 的 速度 发 布 高 质量 的 软件 。 

。 集成 测试 过 程 自动 完成 ， 无 需 过 多 的 人 工 干预 ， 能 够 有 效 减少 重复 测试 过 程 ， 节 省 了 

时 间 、 费 用 和 工作 量 。 

支持 复杂 系统 的 快速 迭代 开发 。 

能 够 尽早 看 到 系统 级 的 开发 成 果 ， 增 强 了 开发 团队 的 信心 。 

支持 在 任何 时 间 、 任 何 地 点 生成 可 部 署 的 软件 。 

提高 了 对 开发 进度 的 控制 能 力 。 及 时 的 问题 反馈 使 得 项 目 负责 人 能 够 更 为 准确 地 了 解 

实际 项 目 进 度 ， 因 此 整个 开发 进度 更 有 保障 。 

应 用 持续 集成 方法 时 ， 需 要 遵守 以 下 一 些 主要 原则 。 

e 开发 人 员 需 要 及 时 向 版 本 控制 库 中 提交 最 新 代码 ， 提 交 前 先 要 完成 代码 本 地 测试 。 

e 同步 开发 与 频繁 的 版 本 更 新 要 求 开 发 人 员 必 须 经 常 性 地 从 版 本 控制 库 中 更 新 最 新 的 代 
码 到 本 地 ， 以 保证 代码 版 本 的 一 致 性 ， 同 时 可 以 防止 工作 中 的 分 支 偏离 主干 程序 太 多 。 

e 需要 有 专门 的 集成 服务 器 来 执行 集成 构建 。 根 据 项 目的 具体 实际 情况 ， 可 以 通过 检测 
代码 的 修改 情况 来 直接 触发 集成 构建 活动 ， 也 可 以 将 集成 构建 活动 设 定 为 定时 启动 ， 
按 一 定 的 时 间 周 期 执行 集成 构建 。 

。 每 次 集成 构建 都 必须 成 功 。 如 果 构建 失败 ， 修 改 构建 错误 的 工作 应 当 是 优先 级 最 高 的 
工作 。 一 旦 修改 完成 ， 需 要 手动 启动 一 次 构建 任务 。 

e 不 要 拉 取 构建 失败 的 代码 到 本 地 ， 避 免 污染 本 地 代码 。 


[到 系统 测试 


集成 测试 阶段 完成 以 后 ， 已 经 有 了 一 个 完整 的 软件 系统 。 但 是 这 个 软件 系统 是 不 能 够 单独 
运行 的 ， 需 要 相应 的 软 硬 件 环境 支持 才能 发 挥 作 用 。 当 开发 后 的 程序 与 必需 的 软 硬 件 支持 环境 
结合 在 一 起 时 ， 经 常会 产生 很 多 问题 。 另 外 ， 开 发 出 完整 的 软件 系统 后 ， 需 要 从 用 户 的 功能 需 
求 和 非 功 能 需求 两 个 方面 ， 全 面 测试 整个 软件 系统 是 否 还 存在 问题 。 这 些 都 需要 在 系统 测试 阶 
段子 以 解决 。 系 统 测试 涵盖 的 内 容 非常 多 ， 其 测试 成 本 往往 也 是 各 测试 阶段 中 最 高 的 。 


4.3.1 什么 是 系统 测试 


系统 测试 是 将 经 过 集成 测试 之 后 的 软件 系统 与 计算 机 硬件 、 输 入 输出 设备 、 所 需要 的 其 他 
支撑 软件 、 必 有 需 的 初始 化 业务 数据 等 系统 运行 必 备 元 素 组 合 在 一 起 ， 然 后 对 用 户 实 际 运行 环境 
下 的 完整 计算 机 系统 进行 测试 。 系 统 测试 的 目的 在 于 通过 检验 软件 系统 各 项 功能 是 否 正确 ， 以 
及 检验 软件 系统 在 性 能 、 安 全 性 、 可 靠 性 等 非 功能 特性 上 的 表现 是 否 满足 要 求 ， 从 而 验证 软件 
系统 与 系统 的 需求 定义 是 否 完全 一 致 。 

在 单元 测试 和 集成 测试 阶段 ， 已 经 通过 各 种 测试 技术 对 软件 的 功能 进行 了 多 方面 的 测试 。 
对 于 有 较 高 性 能 要 求 的 软件 模块 、 组 件 等 ， 也 会 进行 一 些 重点 性 的 性 能 跟踪 与 测试 。 但 是 ， 只 
有 当 形 成 完整 的 软件 系统 ， 并 且 与 相关 硬件 、 外 设 和 支撑 软件 结合 在 一 起 时 ， 才 能 真正 全 面 地 
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对 其 整体 功能 和 非 功能 特性 进行 深入 测试 。 在 这 一 阶段 ， 测 试 的 是 大 粒度 的 系统 功能 是 否 能 够 
正确 运行 ， 系 统 性 能 等 非 功能 特性 是 否 满足 用 户 需求 。 

根据 以 上 说 明 可 知 ， 系 统 测试 的 主要 依据 是 软件 规格 说 明 书 。 在 软件 规格 说 明 书 中 ， 详 细 
定义 了 一 个 软件 系统 应 当 具 备 的 各 项 功能 ， 并 且 还 定义 了 系统 性 能 等 非 功 能 特性 应 当 达 到 的 技 
术 指 标 。 因 此， 系统 测试 的 计划 、 设 计 、 执 行 与 评估 都 是 以 软件 规格 说 明 书 作为 标准 和 指南 的 。 

正确 理解 系统 测试 需要 注意 其 定义 中 隐 含 的 两 个 含义 。 

e 系统 测试 并 不 只 是 局 限于 找 出 软件 程序 中 的 错误 ， 而 是 为 了 发 现 软 硬 件 整体 系统 与 需 

求 定义 是 否 存在 不 符合 或 矛盾 之 处 。 

e 如 果 没 有 一 组 书面 的 、 可 度量 的 系统 目标 ， 系 统 测试 是 无 法 进行 的 。 

执行 系统 测试 时 ， 强 调 测试 环境 的 真实 性 。 也 就 是 说 ， 测 试 环境 要 尽 可 能 模拟 真实 的 用 户 
使 用 环境 。 在 测试 时 ， 不 仅 要 考虑 软件 程序 的 自身 情况 ， 还 需要 考虑 与 系统 有 关 的 硬件 、 网 络 
以 及 第 三 方 软件 对 整体 系统 的 影响 。 例 如 ， 系 统 运行 异常 可 能 是 由 IO 设备 引起 的 ， 不 一 定 都 
是 由 软件 造成 的 ， 第 三 方 软件 与 被 开发 软件 可 能 产生 计算 资源 竞争 、IO 端口 冲突 等 问题 ， 也 
会 影响 系统 的 正常 功能 与 性 能 。 

系统 测试 是 在 把 软件 提交 给 用 户 进行 最 终 验 收 测试 前 的 最 后 一 道 质量 控制 过 程 。 由 于 需要 
完成 的 功能 和 非 功能 测试 项 目 可 能 会 很 多 ， 因 此 对 于 测试 人 员 来 讲 ， 系 统 测试 阶段 的 工作 一 般 
是 最 为 费时 费力 的 。 如 果 在 这 一 测试 阶段 发 现 与 需求 不 一 致 的 问题 ， 软 件 修改 所 牵扯 的 面 会 很 
广 ， 工 作 量 往往 很 大 。 此 外 ， 性 能 测试 和 安全 性 测试 等 一 些 测试 活动 的 难度 较 高 ， 需 要 测试 人 
员 具 备 非常 全 面 的 专业 知识 和 一 些 专 门 的 软件 测试 技术 。 


4.3.2 ”系统 测试 的 内 容 


系统 测试 的 前 期 主要 以 功能 测试 为 主 ， 毕 况 软 件 系统 功能 的 完备 性 与 正确 性 是 用 户 对 一 个 
软件 产品 的 最 基本 要 求 。 在 功能 正确 性 得 到 保证 的 基础 上 ， 系 统 测试 的 后 期 主要 以 性 能 测试 、 
安全 性 测试 、 可 靠 性 测试 、 兼 容 性 测试 等 非 功能 测试 为 主 。 并 且 随 着 软件 规模 与 复杂 度 的 提高 ， 
以 性 能 测试 为 代表 的 各 种 非 功能 测试 越 来 越 成 为 系统 测试 的 主要 内 容 。 

具体 来 说 ， 系 统 测试 可 能 包括 很 多 测试 项 目 。 例 如 功能 测试 、 用 户 界面 (UD 测试 、 性 能 
测试 、 压 力 测 试 、 容 量 测试 、 安 全 性 测试 、 兼 容 性 测试 、 安 装 与 外 载 测试 、 可 用 性 测试 、 健 壮 
性 测试 、 文 档 测试 、 稳 定性 测试 、 配 置 测 试 、 异 常 故障 测试 、 网 络 测试 、 在 线 帮助 测试 、 备 份 
测试 等 。 这 些 测试 概念 与 活动 比较 繁杂 ， 相 互 之 间 还 存在 着 一 定 的 关系 。 后 续 章 节 将 对 这 些 测 
试 项 目 进行 集中 梳理 和 详细 介绍 ， 在 这 里 只 需要 理解 系统 测试 包含 功能 和 非 功能 测试 两 大 类 别 
即 可 。 

涉及 系统 界面 、 数 据 、 操 作 、 逻 辑 、 接 口 等 方面 的 功能 测试 是 系统 测试 必须 完成 的 内 容 ， 
但 是 对 于 不 同 规模 和 业务 特点 的 系统 来 讲 ， 对 其 非 功 能 特性 的 要 求 在 重要 性 和 侧重 点 上 会 有 很 
大 不 同 。 在 实际 系统 测试 工作 中 ， 需 要 综合 考虑 测试 费用 、 时 间 、 环 境 等 的 限制 ， 针 对 系统 应 
用 特点 选择 合适 的 测试 策略 与 测试 范围 ， 确 定 测试 的 重点 和 测试 项 目的 优先 级 。 例 如 ， 对 于 包 
含 大 型 数据 库 的 应 用 系统 ， 容 量 测试 和 压力 测试 是 不 可 缺少 的 测试 内 容 ; 对 于 大 范围 、 多 用 户 
的 网 络 应 用 系统 ， 负 载 测试 、 性 能 测试 必 不 可 少 ; 对 于 各 种 电子 商务 应 用 系统 ， 安 全 性 测试 是 
重 中 之 重 。 
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此 外 ， 文 档 是 一 个 软件 系统 的 重要 组 成 部 分 ， 必 须 注意 对 文档 资料 是 否 完整 进行 检查 。 对 
于 软件 的 易 移 植 性 、 错 误 自 动 恢复 (如 断 点 续 传 )、 软 硬件 兼容 性 和 系统 的 易 维护 性 等 也 需要 进 
行 全 面 的 确认 ， 这 些 也 都 是 系统 测试 需要 解决 的 问题 。 运 行 系统 测试 用 例 之 后 ， 需 要 给 出 软件 
缺陷 表 ， 详 细 记录 系统 功能 和 非 功 能 表现 与 系统 需求 的 所 有 偏差 ， 并 逐一 予以 消除 。 如 果 遇 到 
需要 做 出 重大 修改 的 需求 偏差 ， 还 需要 与 用 户 协商 后 再 进行 改正 。 

系统 测试 一 般 可 以 根据 项 目 具 体 要 求 ， 对 以 下 测试 内 容 进行 裁剪。 

e 逐 项 测试 软件 需求 说 明 中 规定 的 系统 或 子 系统 的 功能 、 性 能 等 特性 。 

。 对 每 个 特性 至 少 用 一 个 正常 测试 用 例 和 一 个 异常 测试 用 例 进行 测试 。 

e 测试 用 例 的 输入 数据 至 少 要 考虑 有 效 和 无 效 等 价 类 以 及 边界 值 数 据 ， 对 于 输出 数据 需 
要 测试 其 格式 的 有 效 性 。 
测试 系统 在 边界 和 异常 状态 下 的 功能 和 性 能 。 
针对 特殊 问题 补充 必要 的 专门 测试 。 
测试 软件 配置 项 之 间 是 否 存在 冲突 ， 软 件 配置 与 硬件 接口 是 否 匹 配 。 
测试 系统 应 用 权限 和 数据 访问 的 安全 性 。 
对 于 安全 性 和 可 靠 性 有 较 高 要 求 的 系统 ， 需 要 分 析 每 一 个 可 能 导致 风险 的 原因 ， 并 逐 
一 进行 有 针对 性 的 测试 。 
根据 系统 设计 要 求 对 功能 和 性 能 进行 强度 测试 。 
对 于 有 恢复 和 重 置 功能 要 求 的 系统 ， 测 试 每 一 种 导致 恢复 和 重 置 的 情况 并 且 检查 平均 
恢复 和 重 置 时 间 是 否 满足 系统 要 求 。 


4.3.3 ”系统 测试 人 员 


系统 测试 需要 由 独立 的 测试 小 组 在 测试 组 长 的 统一 管理 下 完成 ， 测 试 工作 主要 由 专职 的 测 
试 人 员 负 责 完 成 。 对 于 大 型 复杂 系统 来 说 ， 为 了 进行 全 面 和 有 效 的 系统 测试 ， 测 试 小 组 可 以 由 
以 下 各 类 人 员 构 成 。 

e 独立 测试 部 门 中 的 专职 测试 人 员 。 

与 项 目 用 户 直 接 沟通 ， 熟 悉 用 户 需 求 的 主要 市 场 人 员 。 
部 分 需求 分 析 、 设 计 和 开发 人 员 。 

在 业务 上 与 本 项 目 密切 相关 的 其 他 项 目的 开发 人 员 。 
企业 中 负责 质量 体系 管理 的 质量 保证 人 员 。 

测试 组 长 负责 按照 质量 控制 目标 对 软件 产品 进行 全 面 的 系统 测试 ， 对 测试 人 员 进行 合理 的 
工作 划分 和 监督 。 测 试 小 组 人 员 共同 负责 制定 系统 测试 计划 、 选 择 合适 的 测试 技术 、 确 定 合理 
的 测试 范围 并 对 系统 测试 计划 进行 评审 。 质 量 保证 人 员 一 般 以 独立 的 测试 观察 员 身 份 出 现 ， 确 
保 测 试 过 程 符合 企业 质量 管理 体系 的 各 项 要 求 。 如 果 能 够 邀请 用 户 代表 非 正式 地 参与 系统 测试 
工作 效果 会 更 好 ， 这 样 可 以 在 系统 交付 前 向 用 户 展现 系统 运行 的 全 貌 ， 听 取 用 户 代表 从 产品 业 
务 需求 角度 提出 的 非常 有 价值 的 意见 ， 尽 量 在 验收 测试 之 前 解决 有 可 能 出 现 的 问题 。 


4.3.4 ”系统 测试 所 采用 的 技术 与 数据 
系统 测试 完全 采用 黑 盒 测试 方法 。 系 统 测 试 主要 着 眼 于 检查 系统 粗 粒度 的 功能 以 及 各 项 非 
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功能 特性 表现 是 否 满足 需求 分 析 说 明 书 中 的 各 项 要 求 ， 已 不 再 需要 考虑 软件 单元 模块 的 具体 实 
现 细 节 。 由 于 系统 测试 包含 许多 种 类 的 测试 项 目 ， 除 了 专门 的 测试 技术 之 外 ， 针 对 不 同 的 测试 
项 目 还 会 用 到 一 些 其 他 的 专门 技术 。 例 如 容量 测试 经 常会 涉及 数据 库 技术 ， 性 能 测试 会 涉及 网 
络 通信 技术 ， 与 硬件 相关 的 测试 还 会 涉及 与 专门 硬件 相关 的 技术 。 因 此 系统 测试 所 涉及 的 具体 
技术 较 多 ， 需 要 根据 项 目 特点 在 系统 测试 计划 中 进行 合理 规划 。 

系统 测试 中 所 使 用 的 测试 数据 必须 尽 可 能 地 贴近 真实 数据 ， 需 要 具有 与 真实 数据 一 样 的 精 
度 和 代表 性 。 由 于 性 能 测试 、 容 量 测试 、 可 靠 性 测试 等 内 容 在 系统 测试 中 具有 重要 地 位 ， 因 此 
系统 测试 数据 在 规模 和 复杂 程度 上 也 必须 与 真实 数据 相当 。 为 了 满足 上 述 对 于 测试 数据 的 要 求 
可 以 采用 以 下 两 种 方法 。 

第 一 种 方法 是 直接 采用 真实 的 业务 数据 。 在 用 户 授权 许可 的 情况 下 ， 或 在 前 期 项 目 保留 有 
系统 真实 数据 的 情况 下 ， 可 以 直接 使 用 这 些 数据 完成 测试 任务 。 这 种 方法 的 好 处 是 系统 测试 和 
后 续 的 验收 测试 在 测试 数据 上 是 相同 的 ， 不 必 担 心 两 个 阶段 测试 数据 不 同 会 造成 测试 结果 不 一 
致 的 问题 ， 降 低 了 后 续 验 收 测试 的 风险 ， 同 时 也 增强 了 对 系统 测试 结果 的 信心 。 这 种 方法 也 有 
其 缺点 。 用 户 的 真实 业务 数据 受 使 用 习惯 和 使 用 周期 等 因素 影响 ， 有 时 并 不 能 充分 暴露 系统 的 
一 些 偶然 性 和 深层 次 问题 ， 仍 然 需要 根据 系统 特点 和 测试 经 验 手工 制作 一 些 有 针对 性 的 测试 数 
据 ， 以 便于 完成 对 系统 的 充分 测试 。 

第 二 种 方法 是 使 用 真实 数据 的 副本 。 出 于 对 数据 安全 性 、 保 密 性 以 及 真实 数据 存在 较 大 应 
用 风险 等 情况 的 考虑 ， 系 统 测试 可 能 无 法 使 用 真实 数据 进行 测试 。 这 种 情况 下 可 以 使 用 真实 数 
据 的 副本 ， 所 谓 副 本 数据 ， 是 指 在 数据 规模 、 复 杂 性 、 业 务 特征 等 方面 能 够 全 面 模拟 和 代表 真 
实数 据 的 测试 数据 。 副 本 数据 也 可 以 由 去 除了 安全 性 等 敏感 数据 的 真实 数据 构成 ， 蔡 代 这 些 敏 
感 数据 的 模拟 数据 必须 具备 充分 的 代表 性 。 这 种 方法 的 难点 是 ,需要 对 用 户 目标 业务 足够 熟悉 ， 
这 样 才 能 生成 具有 代表 性 的 测试 数据 。 


4.3.5 “系统 测试 前 的 准备 工作 


系统 测试 的 工作 量 大 ， 测 试 内 容 庞杂 ， 因 此 系统 测试 前 的 准备 工作 显得 尤为 重要 。 在 系统 
测试 前 一 般 需要 做 好 如 下 准备 工作 。 
e 认真 阅读 和 理解 软件 需求 规格 说 明 书 ， 将 其 作为 系统 测试 的 主要 依据 。 
收集 各 种 支撑 软件 、 外 围 硬件 的 技术 说 明 书 ， 作 为 系统 测试 的 参考 。 
明确 系统 所 需 具备 的 各 项 功能 。 
明确 与 系统 性 能 有 关 的 各 项 技术 指标 ， 如 吞吐 量 、 响 应 时 间 、 传 输 速率 等 。 
明确 对 系统 备份 与 修复 有 关 的 技术 要 求 。 
明确 对 系统 软 硬 件 运行 环境 的 兼容 性 要 求 。 
明确 对 系统 配置 的 要 求 。 
确定 对 系统 安全 性 相关 的 具体 要 求 。 
在 理解 上 述 具 体 需求 的 基础 上 ， 制 定 详细 的 系统 测试 计划 ， 确 定 有 具体 的 测试 内 容 、 测 
试 范围 、 测 试 技术 和 测试 通过 标准 等 。 
e 根据 需求 说 明和 测试 计划 ， 收 集 和 制作 测试 数据 ， 设 计 系 统 测试 用 例 。 
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e 搭建 好 尽 可 能 接近 用 户 真实 使 用 环境 的 软 硬 件 系 统 测试 环境 ， 并 且 准 备 好 完成 所 规定 
测试 项 目的 各 类 测试 工具 。 


EE 验收 测试 


系统 测试 完成 以 后 ， 从 开发 者 的 角度 看 ， 所 有 要 做 的 内 部 测试 工作 都 已 完成 。 接 下 来 就 是 
要 和 最 终 用 户 一 起 来 验收 软件 系统 ， 通 过 在 真实 环境 下 使 用 系统 来 确认 软件 系统 是 否 完全 满足 用 
户 的 要 求 ， 各 方面 的 功能 和 性 能 是 否 达 到 最 初 项 目 合同 所 规定 的 验收 标准 。 另 外 ， 即 使 测试 人 员 
的 前 期 测试 工作 已 经 完成 得 非常 全 面 与 细致 ， 也 无 法 完全 预见 用 户 的 所 有 实际 使 用 情况 ， 也 就 无 
法 保证 系统 在 实际 使 用 中 不 会 出 现任 何 问题 。 因 此 ， 需 要 以 用 户 为 主导 完成 最 终 的 验收 测试 。 


4.4.1 对 于 验收 测试 的 基本 认识 


1) 什么 是 验收 测试 

验收 测试 也 称 为 交付 测试 ， 是 在 发 布 或 部 署 软件 之 前 ， 对 软件 系统 进行 的 最 后 一 个 技术 测 
试 阶段 。 测 试 工作 以 用 户 为 主 ， 测 试 人 员 等 质量 保障 人 员 共 同 参与 ， 用 于 最 终 确认 软件 的 有 效 
性 ， 保 证 软件 的 功能 和 性 能 等 满足 用 户 的 所 有 要 求 。 通 过 了 验收 测试 的 软件 系统 才 可 以 正式 交 
付 用 户 使 用 。 

验收 测试 对 于 项 目 管理 者 来 讲 非常 重要 ， 因 为 验收 测试 成 功 与 否 关系 到 用 户 能 否 最 终 验 收 
签字 并 付款 。 一 个 软件 项 目的 费用 通常 由 预付 款 、 项 目 中 期 进度 款 、 验 收 款 和 售后 服务 款 等 组 
成 ， 验 收 后 用 户 所 支付 的 款项 一 般 占 项 目 合同 款 的 30% 左 右 。 

2) 验收 测试 人 员 

验收 测试 强调 以 用 户 为 主导 , 由 最 终 用 户 从 实际 使 用 的 角度 验证 软件 功能 是 否 全 面 、 正 确 ， 
以 及 系统 性 能 等 非 功能 特性 是 否 和 软件 需求 相 一 致 。 因 此 ， 验 收 测试 的 标准 应 当 由 用 户 进行 确 
认 。 当 然 ， 在 验收 测试 过 程 中 也 需要 开发 人 员 、 测 试 人 员 和 质量 控制 人 员 的 配合 。 验 收 测试 通 
常 在 开发 方 测试 小 组 的 配合 下 由 用 户 方 代表 执行 ， 也 可 能 完全 由 最 终 用 户 组 织 进行 ， 或 是 由 最 
终 用 户 选择 相关 人 员 组 成 验收 小 组 来 完成 。 为 了 保证 验收 测试 的 客观 性 ， 一 些 软件 验收 会 采用 
第 三 方 进行 验收 测试 的 方式 进行 。 这 种 情况 下 ， 软 件 验收 过 程 需要 引入 可 靠 、 专 业 、 公 正 并 且 
能 够 得 到 甲乙 双方 共同 认可 的 第 三 方 机 构 ， 国 内 的 第 三 方 验收 测试 机 构 一 般 是 具有 相关 资质 的 
软件 评测 中 心 。 

在 实际 工作 中 ， 为 了 节省 验收 时 间 和 保证 验收 的 成 功 性 ， 很 多 软件 开发 组 织 会 将 验收 测试 
分 为 组 织 内 部 的 验收 测试 和 用 户 验收 测试 ， 将 后 者 称 为 使 用 者 验收 测试 、 终 端 用 户 测试 或 现场 
验收 测试 。 对 于 组 织 内 部 的 验收 测试 ， 会 从 企业 QA 管理 部 门 或 其 他 测试 小 组 人 员 中 选派 一 名 
人 员 扮演 用 户 观测 员 ， 从 用 户 的 角度 独立 监督 测试 工作 ， 避 免 项 目 组 内 部 开发 和 测试 人 员 单 纯 
从 专业 知识 角度 进行 验收 测试 。 

3) 验收 测试 的 依据 

验收 测试 的 主要 依据 是 软件 需求 规格 说 明 书 、 项 目 合同 、 项 目 或 产品 验收 准则 。 

验收 测试 是 为 了 在 软件 交付 前 最 终 确 认 软 件 系统 是 否 完全 满足 用 户 需求 ， 因 此 仍然 应 当 以 
软件 需求 规格 说 明 书 作为 主要 测试 依据 。 此 外 ， 由 于 测试 活动 以 用 户 为 主 ， 因 此 对 于 面向 特定 
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用 户 、 项 目 类 型 的 软件 系统 的 验收 测试 ， 还 应 当 将 项 目 合同 作为 主要 依据 。 在 项 目 合同 中 经 常 
已 经 规定 了 最 终 软件 的 验收 准则 ， 这 些 验收 准则 有 时 也 会 以 独立 正式 文件 的 形式 存在 。 相 比 于 
技术 色彩 比较 重 的 软件 需求 规格 说 明 书 , 项目 合同 有 时 更 能 反映 用 户 高 屋 和 粗 粒度 的 业务 需求 。 
这 些 需 求 描述 也 涵盖 了 软件 需求 规格 说 明 书 中 比较 细节 的 需求 内 容 ， 用 户 在 进行 软件 验收 时 ， 
也 会 将 其 作为 重要 的 验收 指南 。 

4) 验收 测试 的 数据 

验收 测试 一 般 在 用 户 的 真实 使 用 环境 下 进行 ， 因 此 只 要 条 件 允 许 ， 就 应 当 使 用 真实 的 业务 
数据 。 验 收 测试 的 获取 相 比 于 系统 测试 要 容易 一 些 ， 因 为 最 终 用 户 作为 测试 执行 者 参与 到 验收 
测试 中 。 但 是 针对 包含 机 密 和 安全 性 的 关键 业务 数据 ， 测 试 过 程 中 仍然 需要 一 定 程度 的 合理 授 
权 。 可 能 的 用 户 方 授 权 方 式 一 般 包 括 以 下 几 种 。 

e 授权 负责 测试 工作 的 用 户 代表 使 用 这 些 数 据 。 

e 授权 开发 方 测试 组 长 使 用 这 些 数 据 ， 或 者 使 这 些 敏感 数据 在 不 可 见 的 情况 下 也 能 进行 

测试 。 

e 授权 测试 观察 员 使 用 这 些 数据 ， 或 者 在 这 些 数据 不 可 见 的 情况 下 也 能 运行 程序 ， 确 认 

测试 结果 正确 与 否 。 

与 系统 测试 一 样 ， 当 使 用 真实 数据 存在 应 用 风险 时 ， 考 虑 使 用 真实 数据 的 副本 ， 但 要 保证 
副本 数据 尽 可 能 接近 真实 数据 的 规模 、 精 度 和 复杂 性 ， 能 够 支持 对 验收 测试 的 准确 性 要 求 。 在 
系统 测试 时 仍然 有 必要 补充 一 些 有 代表 性 的 手工 数据 ， 充 分 发 挥 用 户 和 测试 人 员 的 经 验 ， 保 证 
深入 和 彻底 地 完成 验收 测试 工作 。 

5) 验收 测试 的 主要 技术 

验收 测试 可 以 完全 采用 黑 盒 测 试 技术 。 验 收 测试 主要 是 用 户 按照 业务 领域 的 工作 习惯 与 流 
程 实际 运行 系统 ， 完 成 典型 业务 场景 下 的 日 常 工作 。 用 户 对 于 其 业务 领域 的 工作 非常 熟悉 ， 但 
是 通常 不 具备 专业 的 计算 机 知识 与 技术 ， 也 不 必 关 心 具 体 的 软件 内 部 实现 细节 。 因 此 验收 测试 
完全 采用 黑 盒 测试 方法 ， 通 过 用 户 界 面 输入 测试 数据 、 操 作 程 序 、 获 得 处 理 结 果 。 用 户 通过 体 
验 软件 实际 使 用 情况 ， 对 使 用 结果 进行 具体 分 析 ， 就 可 以 检验 软件 是 否 满足 功能 和 性 能 等 方面 
的 要 求 。 


4.4.2 ”验收 测试 的 主要 内 容 


验收 测试 是 要 解决 软件 是 否 符合 用 户 预 期 的 各 项 要 求 以 及 软件 能 否 被 最 终 用 户 接受 的 问 
题 ， 因 此 是 一 项 严格 、 全 面 和 正式 的 测试 活动 。 需 要 制定 详细 的 验收 测试 计划 ， 完 成 软件 配置 
审查 以 及 功能 和 性 能 等 方面 的 测试 工作 。 

验收 测试 总 的 来 讲 可 以 分 为 两 大 部 分 : 软件 配置 审查 和 软件 有 效 性 测试 。 


1. 软件 配置 审查 


软件 不 仅 包括 可 执行 程序 ， 还 包括 与 其 相关 的 所 有 技术 、 管 理 、 测 试 、 安 装配 置 、 维 护 等 
方面 的 文档 资料 。 因 此 在 进行 验收 测试 时 ， 首 先 需要 检查 所 有 的 软件 配置 是 否 齐全 并 且 分 类 有 
序 ， 以 便于 用 户 能 够 顺利 接手 软件 并 长 期 使 用 。 用 户 会 根据 合同 规定 逐一 清点 和 接收 开发 方 的 
提交 物 ， 查 验 开发 方 内 部 已 完成 的 测试 工作 记录 ， 初 步 判 断 开发 方 是 否 已 经 进行 全 面 正规 的 内 
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部 测试 。 需 要 注意 的 是 ， 由 于 测试 工作 的 特殊 性 ， 在 验收 测试 阶段 临时 补充 欠缺 的 测试 记录 是 
不 可 能 的 ， 必 须 在 内 部 开发 与 测试 过 程 中 认真 履行 测试 规程 ， 形 成 各 类 测试 设计 、 评 审 与 工作 
记录 。 

具体 的 软件 配置 提交 项 目 应 当 在 前 期 项 目 合同 中 明确 说 明 ， 以 避免 软件 验收 工作 中 产生 纠 
纷 。 常 见 的 软件 配置 项 目 包 括 以 下 内 容 。 

(1) 主要 的 软件 程序 类 配置 ， 一 般 包括 源 程序 、 可 执行 程序 、 软 件 安装 配置 脚本 、 关 键 测 
试 脚本 或 测试 程序 。 

(2) 主要 的 技术 类 文档 。 经 常 需要 提供 以 下 技术 文档 供 验收 测试 检查 。 
软件 需要 分 析 说 明 书 ， 包 括 数据 字典 。 
软件 概要 设计 说 明 书 。 
软件 详细 设计 说 明 书 。 
数据 库 设计 说 明 书 。 
软件 实施 计划 和 详细 技术 方案 。 
软件 测试 计划 ， 包 含 测试 用 例 的 设计 。 
软件 测试 报告 。 
软件 用 户 手册 ， 包 括 软件 使 用 和 维护 手册 。 
项 目 开发 总 结 报告 。 
(3) 主要 的 开发 管理 类 文档 。 此 类 文档 一 般 包括 以 下 内 容 。 
e 软件 项 目 计划 书 。 
。 软件 质量 保障 计划 。 
e 软件 配置 计划 。 
e 软件 进度 报告 。 
. 
. 
. 


软件 阶段 评审 报告 。 
质量 总 结 报告 。 
用 户 培训 计划 。 

进行 软件 程序 类 配置 检查 时 ， 需 要 注意 对 软件 程序 完成 以 下 检查 。 

1) 源 代码 检查 

验收 测试 一 般 只 对 软件 关键 模块 的 源 代码 进行 抽查 ， 抽 查 内 容 主 要 有 以 下 几 项 。 

。 规范 性 检查 。 检 查 编码 的 规范 性 以 利于 理解 与 维护 ， 例 如 对 象 、 函 数 、 变 量 命名 是 否 
规范 ， 源 代码 中 的 注释 量 是 否 达到 要 求 ， 注 释 内 容 是 否 规范 。 

e 数据 类 型 检查 。 主 要 检查 数据 类 型 是 否 符合 用 户 业 务 精度 要 求 ， 例 如 处 理 金 额 的 变量 、 
常量 、 数 据 库 中 的 字段 类 型 是 否 能 够 满足 长 期 的 业务 需求 ， 避 免 出 现 数值 溢出 和 较 大 
的 精度 误差 等 错误 。 

。 外 部 接口 检查 。 主 要 检查 外 部 设备 接口 、 数 据 库 接口 是 否 符合 标准 ， 源 代码 中 的 接口 
方式 是 否 一 致 。 

2) 软件 一 致 性 检查 

。 编译 检查 。 用 规定 的 编译 工具 对 源 代码 重新 进行 编译 ， 编 译 正 确 通 过 则 证 明 开 发 方 交 
付 了 正确 的 源 代码 。 

e 安装 与 卸载 测试 。 对 照 用 户 手 册 安 装 软件 ， 检 查 是 否 能 够 成 功 完成 系统 安装 ， 安 装配 
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置 脚本 是 否 正常 ， 安 装 后 的 程序 是 否 能 正常 工作 ， 从 而 确定 开发 方 交付 了 正确 的 可 执 
行程 序 和 安装 配置 脚本 。 随 后 检查 是 否 能 够 成 功 和 彻底 地 卸载 已 安装 的 软件 程序 。 
运行 模块 一 致 性 检查 。 当 多 个 应 用 现场 需要 安装 同样 的 软件 系统 时 ， 可 以 抽查 一 定数 
量 的 运行 模块 进行 对 比 ， 确 认 现 场 运行 软件 一 致 。 


软件 项 目 文档 是 软件 的 重要 组 成 部 分 , 离开 了 软件 文档 , 用 户 将 很 难 使 用 和 维护 软件 系统 。 
对 于 移交 给 用 户 的 文档 类 资料 ， 需 要 检查 以 下 内 容 。 


2: 


完备 性 。 确 认 所 有 软件 技术 和 管理 类 文档 齐全 并 且 分 类 有 序 。 

规范 性 。 检 查 各 类 文档 是 否 符合 相关 文档 编制 规范 ， 文 档 结构 、 内 容 、 术 语 、 图 示 等 
符合 规范 性 要 求 ， 各 种 文档 内 容 前 后 一 致 、 描 述 准确 无 歧义 。 

针对 性 。 文 字 表达 准确 清晰 ， 适 合 特定 人 员 阅 读 理解 。 例 如 ， 软 件 用 户 手册 主要 是 面 
向 用 户 的， 文字 描述 不 应 当 过 多 使 用 软件 专业 术语 ， 而 开发 类 文档 面向 技术 人 员 ， 必 
须 使 用 专业 规范 的 描述 方式 。 

完整 独立 性 。 任 何 文档 都 应 当 能 够 自 成 体系 。 例 如 ， 在 前 言 部 分 做 出 一 般 性 介绍 ， 在 
正文 部 分 分 层次 描述 中 心 内 容 ， 给 出 必要 的 参考 文献 和 附录 。 为 了 保证 文档 的 完整 独 
立 性 ， 同 一 个 软件 项 目的 不 同文 档 出 现 一 些 重复 之 处 是 必要 的 ， 这 样 能 给 读者 带 来 许 
多 方便 。 

灵活 性 。 由 于 不 同 软件 项 目的 规模 和 复杂 性 不 同 ， 实 际 文档 验收 允许 对 中 小 型 项 目 文 
档 做 出 适当 调整 或 合并 。 例 如 ， 将 软件 操作 和 维护 内 容 合并 到 用 户 手册 中 ， 将 概要 说 
明 书 和 详细 设计 说 明 书 合并 为 软件 设计 说 明 书 。 

可 追溯 性 。 软 件 开发 各 阶段 的 文档 之 间 有 着 紧密 的 联系 ， 前 后 阶段 的 文档 具有 一 定 的 
继承 性 。 因 此 ， 各 开发 阶段 的 文档 之 间 必 定 存在 着 可 追溯 的 关系 。 需 要 检查 软件 的 设 
计 文 档 是 否 遵循 软件 需求 说 明 书 ， 各 类 技术 文档 是 否 与 设计 文档 的 描述 一 致 ， 用 户 操 
作 和 维护 文档 是 否 与 实际 软件 操作 一 致 。 另 外 ， 可 追溯 性 检查 还 包括 确认 是 否 便于 在 
不 同文 档 之 间 检 索 相 关内 容 ， 以 及 在 某 一 文档 范围 内 是 否 便于 检索 特定 内 容 。 


软件 有 效 性 测试 


在 软件 配置 审核 完成 之 后 , 就 可 以 进行 最 后 一 项 验收 测试 活动 : 可 执行 程序 的 有 效 性 测试 。 
这 一 阶段 的 测试 是 以 用 户 的 角度 检测 软件 的 整体 功能 和 性 能 表现 ， 测 试 内 容 可 以 根据 具体 情况 
从 下 列 测试 项 目 中 选择 。 
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软件 界面 测试 。 

可 用 性 测试 。 

功能 测试 ， 包 括 正常 业务 流程 测试 和 错误 处 理 能 力 测试 。 
性 能 测试 ， 包 括 负载 、 容 量 、 压 力 测试 。 

软件 运行 环境 与 系统 平台 配置 测试 。 

健壮 性 测试 ， 包 括 各 种 软 硬 件 故障 下 的 恢复 测试 。 
可 靠 性 测试 。 

兼容 性 测试 。 

数据 备份 测试 。 

安全 性 测试 。 
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通过 图 4-13 可 以 概括 性 地 理解 验收 测试 的 流程 与 内 容 。 
源 程序 过 
代码 清单 
技术 文档 
管理 文档 。 


交付 的 软件 


需求 规格 说 明 人 
项 目 合同 
用 户 文档 
系统 软件 。 一 


有 效 性 测试 


4-13 ”验收 测试 的 过 程 


4.4.3 ”验收 测试 的 注意 事项 

(1) 验收 测试 前 需要 编写 正式 的 验收 测试 计划 ， 明 确 通过 验收 测试 的 标准 ， 测 试 通过 标准 
应 当 由 用 户 进行 确认 。 

(2) 验收 测试 必须 在 最 终 用 户 的 实际 使 用 环境 中 进行 ， 或 者 尽 可 能 模拟 用 户 的 实际 运行 环 
境 ， 避 免 环 境 差 异 导 致 无 法 发 现 软件 的 一 些 潜在 问题 。 

(3) 验收 测试 覆盖 的 应 当 是 软件 的 粗 粒度 、 业 务 级 功能 ， 而 不 是 软件 的 所 有 细节 功能 。 验 
收 测试 用 例 与 软件 项 目 合同 、 软 件 需求 规格 说 明之 间 具 有 可 追溯 性 ， 验 收 测试 用 例 不 可 能 也 没 
有 必要 将 开发 阶段 进行 的 所 有 测试 用 例 再 重新 运行 一 遍 。 

(4) 验收 测试 一 定 要 面向 用 户 ， 从 最 终 用 户 实际 使 用 中 的 业务 场景 角度 出 发 ， 以 用 户 可 以 
直观 感知 的 方式 进行 ， 使 用 黑 盒 测 试 方法 以 避免 涉及 过 多 的 开发 内 部 细节 。 

(5) 设计 验收 测试 用 例 一 定 要 充分 考虑 用 户 的 思维 方式 、 使 用 习惯 、 业 务 语 言 等 ， 根 据 业 
务 主要 场景 来 组 织 测试 用 例 与 测试 流程 。 在 保证 测试 完整 性 的 基础 上 ， 重 点 测试 用 户 最 为 关心 
的 功能 点 和 性 能 点 ， 以 便于 用 户 对 测试 结果 的 理解 和 认同 。 

(6) 面向 特定 工作 单位 的 项 目 类 软件 验收 测试 ， 一 般 由 用 户 和 开发 方 测试 部 门 共 同 完成 ; 
面向 公众 、 由 开发 方 自行 研发 的 产品 类 软件 验收 测试 ， 应 当 由 测试 部 门 、 产 品 设计 部 门 、 市 场 
部 门 和 产品 售后 服务 部 门 共同 参与 完成 。 


4.4.4 “a 测试 与 B 测 试 


对 于 通用 型 软件 来 讲 ， 目 标 用 户 数量 众多 , 不 可 能 由 每 个 用 户 进行 软件 验收 。 这 种 情况 下 ， 
一 般 在 软件 正式 发 布 之 前 , 采用 a 测试 和 6B 测试 方式 对 软件 的 功能 和 性 能 进行 测试 。 无 论 软件 在 
开发 过 程 中 经 历 了 多 么 严格 的 测试 ， 软 件 设计 和 开发 人 员 都 不 可 能 完全 预见 用 户 实际 使 用 软件 
过 程 中 出 现 的 所 有 情况 ， 很 多 软件 缺陷 只 有 在 最 终 用 户 频 繁 使 用 的 过 程 中 才 会 出 现 。o 测 试 和 B 
测试 都 属于 验收 测试 ， 是 从 软件 产品 最 终 用 户 的 角度 去 发 现 可 能 存在 的 软件 缺陷 ， 尽 可 能 在 软 
件 正 式 发 布 前 清除 它们 以 提高 用 户 的 满意 度 。 

a 测试 是 在 软件 开发 方 内 部 进行 的 一 种 验收 测试 ， 是 在 开发 方 人 员 模 拟 软 件 实际 运行 环境 
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和 用 户 操作 行为 情况 下 进行 的 受 控 测 试 。 主 要 用 于 对 软件 产品 的 功能 、 性 能 、 可 用 性 和 可 靠 性 
等 做 出 评价 ， 特 别 是 对 软件 界面 和 易 用 性 进行 测试 。c 测 试 要 求 模拟 的 用 户 操作 和 使 用 环境 尽 
可 能 逼真 ， 因 此 测试 的 执行 一 般 不 能 由 开发 人 员 或 测试 人 员 完成 。 

a 测试 面 对 的 是 已 经 过 严格 测试 的 被 称 为 a 版 本 的 软件 , 此 时 的 软件 从 总 体 上 讲 已 经 基本 满 
足 用 户 的 需求 。c 测 试 的 主要 目的 就 是 发 现 用 户 实际 使 用 环境 和 难以 预计 的 用 户 操作 行为 所 导 
致 的 软件 错误 ， 所 以 要 尽 可 能 模拟 用 户 真实 环境 和 可 能 的 操作 方式 。co 测 试 人 员 最 好 由 非 项 目 
组 人 员 或 其 他 非 技术 部 门人 员 构 成 ， 也 应 当 有 代表 性 用 户 参与 。 测 试 过 程 中 ， 项 目 组 开发 或 测 
试 人 员 主 要 负责 进行 产品 使 用 说 明和 回答 一 些 软件 操作 方面 的 问题 ， 但 不 进行 过 多 的 干预 。 对 
于 测试 中 发 现 的 错误 ， 可 以 在 测试 现场 立刻 反馈 给 开发 人 员 ， 由 开发 人 员 进 行 分 析 和 处 理 。 

经 过 了 a 测试 和 错误 修改 的 软件 产品 被 称 为 B 版 本 的 软件 ， 此 时 的 软件 产品 已 经 具备 很 高 的 
实用 性 和 稳定 性 。 因 此 可 以 将 a 测试 看 成 对 早期 的 、 不 稳定 的 软件 版 本 进行 的 验收 测试 ， 而 将 B 
测试 看 成 对 晚期 的 、 更 为 稳定 的 软件 版 本 进行 的 验收 测试 。 

在 B 测 试 中 ， 由 软件 开发 方 组 织 各 方面 的 典型 用 户 ， 在 用 户 的 日 常 工作 和 生活 场所 实际 使 
用 有 版 本 的 软件 ， 并 要 求 用 户 反馈 使 用 中 发 现 的 异常 情况 和 使 用 意见 ， 然 后 由 开发 方 对 软件 进 
行 改 错 和 完善 。B 测 试 是 在 开发 方 不 受 控 环 境 下 进行 的 外 部 测试 ， 开 发 方 人 员 通 常 不 在 现场 ，B 
测试 不 能 由 开发 人 员 和 测试 人 员 完 成 。 

6B 测试 经 常 是 完全 交 给 最 终 用 户 进行 的 软件 内 测 后 的 公测 活动 ， 如 网 络 游戏 的 B 版 公测 ， 因 
此 是 在 开发 方 无 法 控制 的 用 户 环境 下 进行 的 软件 现场 应 用 测试 。 用 户 通过 使 用 B 版 软件 ， 定 期 
向 开发 方 报告 使 用 中 出 现 的 问题 和 意见 。 开 发 方 在 综合 用 户 报告 信息 的 基础 上 修改 软件 ， 形 成 
最 终 正式 发 布 的 软件 产品 。 通 用 的 软件 产品 一 般 需 要 较 大 规模 的 B 测 试 ， 测 试 周期 比较 长 。 因 
此 很 多 情况 下 ， 开 发 方 也 会 将 B 测 试 外 包 给 专业 的 测试 服务 机 构 来 完成 。 


4.4.5 ”四 种 主要 测试 执行 阶段 的 简要 对 比 


单元 测试 、 集 成 测试 、 系 统 测 试 和 验收 测试 是 软件 测试 的 四 个 主要 执行 阶段 ， 表 4-2 给 出 
了 上 述 四 个 阶段 的 简要 对 比 。 


表 4-2 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 的 比较 


对 比 项 目 验收 测试 


测试 对 象 软件 单元 ， 如 函数 、 | 模块 间 的 接口 , 如 参数 | 整个 系统 ， 包 括 软 | 整个 系统 ， 包 括 软 
类 、 组 件 、 模 块 传递 硬件 硬件 
Re i 需求 规格 说 明 、 合 
测试 依据 软件 详细 设计 软件 概要 设计 软件 需求 规格 说 明 同 、 验 收 标准 
测试 人 员 开发 人 员 或 白 盒 测 | 开发 人 员 和 测试 人 员 | 主要 由 专职 测试 人 | 用 户主 导 ， 开 发 和 
试 工程 师 共同 完成 员 负责 测试 人 员 配 合 
测试 方法 主要 采用 白 盒 测试 ee He 完全 采用 黑 盒 测试 | 完全 采用 黑 盒 测 试 


测试 数据 一 般 不 使 用 真实 业 | 一 般 不 使 用 真实 业务 | 尽 可 能 使 用 或 模拟 | 尽 可 能 使 用 或 模拟 
务 数据 数据 真实 业务 数据 真实 业务 数据 
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回归 测试 


在 软件 的 整个 生命 周期 中 ， 需 求 、 设 计 、 实 现 、 维 护 以 及 软件 平台 配置 等 各 方面 总 是 存在 
着 各 种 变化 。 变 化 的 原因 可 能 是 对 软件 进行 了 修改 ， 也 可 能 是 在 新 版 本 的 软件 中 增加 了 功能 ， 这 
些 变化 可 能 导致 软件 产生 新 的 问题 。 为 了 验证 改变 后 的 软件 系统 的 正确 性 , 就 需要 进行 回归 测试 。 


4.5.1 什么 是 回归 测试 


回归 测试 是 指 在 对 之 前 已 经 测试 过 的 软件 系统 进行 修改 或 扩充 之 后 所 进行 的 重新 测试 ， 是 
为 了 保证 对 软件 所 做 的 修改 和 扩充 没有 引起 新 的 错误 而 进行 的 重复 测试 。 

修改 软件 本 身 就 有 可 能 产生 错误 ， 经 验证 明 ， 修 改 程序 比 编写 新 程序 更 容易 产生 错误 。 更 
为 严重 的 是 ， 由 于 程序 的 复杂 性 以 及 修改 和 人员 缺乏 对 项 目 程序 的 整体 理解 和 把 控 ， 经 常 出 现 因 
修改 一 个 错误 而 引发 更 多 错误 的 情况 。 同 样 ， 当 有 新 的 代码 或 模块 加 入 软件 后 ， 除 了 它们 本 身 
可 能 包含 的 错误 之 外 ， 这 些 新 的 代码 和 模块 有 可 能 对 原 有 系统 带 来 不 良 影 响 甚 至 严重 错误 。 

因此 ， 回 归 测 试 是 在 软件 变更 后 保证 新 的 软件 功能 和 性 能 等 仍然 正常 的 一 种 测试 策略 和 方 
法 ， 可 以 分 为 改 错 性 回归 测试 和 增 量 性 回归 测试 。 改 错 性 回归 测试 用 于 验证 错误 修改 情况 ， 增 
量 性 回归 测试 用 于 验证 增加 或 删除 软件 单元 后 程序 的 正确 性 。 需 要 注意 的 是 ， 有 些 时 候 软件 本 
身 并 没有 改变 ， 但 是 支撑 其 运行 的 软 硬 件 环境 发 生 了 变化 。 这 种 情况 下 ， 也 应 当 进 行 回归 测试 
以 保障 软件 系统 仍然 能 够 正常 运行 。 

回归 测试 并 不 是 一 个 独立 的 测试 阶段 ， 可 以 在 单元 测试 、 集 成 测试 、 系 统 测试 、 验 收 测试 等 
任何 一 个 测试 阶段 进行 。 既 有 黑 盒 测 试 的 回归 ， 又 有 白 盒 测试 的 回归 。 但 是 在 实际 工作 中 ， 回 归 
测试 多 用 于 软件 测试 的 后 期 阶段 ， 例 如 在 系统 测试 、 验 收 测试 以 及 软件 后 期 维护 工作 中 采用 回归 
测试 ， 以 保证 错误 修改 和 新 版 本 软件 的 正确 性 。 所 采用 的 技术 主要 是 黑 盒 测 试 方法 ， 重 点 关注 的 
是 软件 的 高 级 需求 在 软件 被 修改 和 扩充 后 是 否 仍然 能 够 得 到 满足 ， 一 般 不 太 考虑 软件 实现 细节 。 

自动 化 测试 的 应 用 在 回归 测试 中 非常 普遍 。 回 归 测 试 往往 需要 多 次 重复 执行 已 经 执行 过 的 
测试 用 例 ， 因 此 很 容易 使 测试 人 员 感 到 疲惫 和 厌倦 。 在 大 多 数 回归 测试 需要 手工 完成 时 更 是 如 
此 。 所 以 应 当 尽 量 采 用 自动 测试 的 方法 来 实现 大 量 重复 的 回归 测试 ， 同 时 也 能 保证 测试 的 一 致 
性 ， 大 幅 提 高 回归 测试 的 效率 。 不 过 需要 注意 的 是 ， 自 动 化 测试 对 于 测试 用 例 的 要 求 较 高 ， 不 
一 定 所 有 的 项 目 都 适合 使 用 自动 化 的 回归 测试 。 


4.5.2 回归 测试 的 范围 与 测试 用 例 的 选择 


回归 测试 是 为 了 保证 程序 修改 和 扩充 情况 下 软件 的 正确 性 ， 因 此 无 须 再 进行 从 头 至 尾 的 全 
面 测试 ， 而 是 要 根据 程序 改变 的 情况 进行 有 效 的 测试 。 每 次 回归 都 将 原 有 的 测试 用 例 再 执行 一 
饥 的 方法 虽然 简单 ， 但 是 测试 成 本 过 于 高 昂 。 一 般 测试 的 目标 是 验证 整个 程序 的 正确 性 ， 而 回 
归 测 试 只 是 检测 被 修改 程序 的 正确 性 ， 以 及 检测 这 部 分 程序 与 原 有 系统 的 整合 是 否 正 确 。 简 单 
来 说 ， 回 归 测试 的 目标 是 

。 测试 程序 变化 部 分 。 

e 测试 受到 变化 影响 的 部 分 。 
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在 确定 回归 测试 的 范围 和 程度 时 ， 开 发 与 测试 经 验 往 往 起 到 很 重要 的 作用 。 可 供 借鉴 的 经 
验 主要 包括 以 下 几 种 : 

e 项 目 需 求 分 析 、 设 计 和 实现 方面 的 知识 。 

。 前 期 测试 过 程 中 积累 的 测试 经 验 。 

e 同类 型 软件 项 目的 测试 经 验 。 

e 典型 错误 的 产生 原因 。 

。 通用 的 开发 与 测试 经 验 。 

回归 测试 前 ， 需 要 首先 标识 变化 ， 然 后 根据 以 上 经 验 分 析 软 件 的 修改 可 能 影响 到 哪些 程序 
和 软件 功能 。 对 于 受到 影响 的 部 分 ， 对 应 的 所 有 测试 用 例 都 应 当 被 回归 执行 。 需 要 充分 考虑 软 
件 单元 代码 的 修改 对 于 一 些 公共 接口 的 影响 ， 例 如 对 全 局 变量 、 输 入 输出 接口 和 系统 配置 的 影 
响 。 回 归 测试 不 会 单独 设计 全 新 的 测试 用 例 ， 而 是 选择 之 前 全 部 或 部 分 测试 用 例 作 为 回归 测试 
包 。 对 原 有 测试 用 例 要 进行 必要 的 修改 和 补充 ， 以 满足 新 的 回归 测试 要 求 。 回 归 测 试用 例 的 选 
择 一 般 包括 以 下 几 种 策略 。 

1) 重新 测试 全 部 用 例 

选择 基线 测试 用 例 库 中 的 所 有 测试 用 例 。 这 种 方法 的 错误 遗漏 程度 最 小 但 成 本 最 高 ， 分 析 和 
重新 开发 测试 用 例 的 工作 量 不 大 。 测 试 经 常会 运行 大 量 无 须 再 执行 的 测试 用 例 ， 因 而 造成 测试 浪 
费 和 影响 测试 进度 。 因 此 , 这 一 选择 策略 只 适合 于 测试 用 例 数量 不 多 或 软件 大 部 分 被 改变 的 情况 。 

2) 选择 与 修改 部 分 和 关联 功能 有 关 的 测试 用 例 

Bug 修改 清单 或 功能 变更 清单 是 最 直接 、 最 重要 的 回归 测试 内 容 ， 根 据 这 些 变更 内 容 选择 
之 前 执行 过 的 相关 测试 用 例 。 在 了 解 软件 结构 和 业务 流程 的 基础 上 ， 发 挥 开发 和 测试 经 验 ， 确 
定 修改 所 影响 的 关联 功能 ， 选 择 相关 测试 用 例 来 覆盖 被 影响 的 程序 部 分 。 无 关 测试 用 例 不 会 被 
选 出 ， 从 而 以 较 小 的 成 本 完成 所 需要 的 回归 测试 。 例 如 对 网 关 代码 的 修改 可 能 影响 到 重 传 模块 
和 消息 恢复 模块 ， 就 需要 对 这 两 个 模块 的 功能 进行 回归 测试 ， 保 证 其 功能 不 受 影响 。 

3) 对 于 新 增 功能 补充 测试 用 例 

新 增 功能 可 能 是 独立 的 , 也 可 能 影响 已 有 功能 , 因此 需要 根据 实际 情况 补充 一 些 测试 用 例 。 
考虑 新 增 功能 对 原 有 功能 的 影响 时 ， 需 要 根据 关联 功能 选择 测试 用 例 的 方法 挑选 合适 的 原 有 测 
试用 例 ， 有 时 需要 对 部 分 测试 用 例 做 出 必要 的 修改 。 

4) 基于 用 例 优先 级 选择 测试 用 例 

测试 用 例 的 优先 级 反映 了 测试 风险 标准 和 测试 用 例 的 重要 程度 。 这 种 选择 策略 是 从 项 目 风 
险 控制 的 角度 出 发 ， 优 先 选择 那些 最 关键 的 、 涉 及 重要 功能 和 性 能 的 ， 以 及 涉及 前 期 缺陷 密集 
的 高 危 模块 的 测试 用 例 ， 有 利于 应 对 复杂 和 测试 时 间 紧 张 的 回归 测试 。 

5) 基于 软件 实际 使 用 功能 选择 测试 用 例 
针对 软件 功能 的 重要 性 和 使 用 频繁 程度 选择 测试 用 例 。 这 种 选择 策略 考虑 了 给 定 的 测试 预 
算 ， 可 以 尽早 发 现 对 软件 可 靠 性 有 最 大 影响 的 软件 缺陷 。 该 方法 的 实施 要 求 基线 测试 用 例 库 中 
的 用 例 是 基于 软件 操作 剖面 开发 的 ， 用 例 分 布 能 够 反映 软件 实际 使 用 情况 。 

6) 根据 覆盖 率 指标 选择 测试 用 例 

在 软件 变更 影响 范围 难以 界定 的 时 候 , 可 以 根据 一 定 的 测试 覆盖 率 指标 选择 测试 用 例 。 例如 ， 
将 选择 策略 设 定 为 修改 范围 内 的 回归 测试 是 100%, 而 其 他 范围 内 的 测试 用 例 履 盖 率 不 超过 60%。 

上 述 回归 测试 策略 的 选择 需要 考虑 软件 开发 成 本 、 时 间 和 质量 的 平衡 ， 针 对 不 同 的 软件 项 
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目 、 回 归 测试 内 容 和 测试 阶段 进行 综合 选择 。 
4.5.3 ”回归 测试 用 例 的 维护 


随 着 敏捷 测试 、 快 速 迁 代 开发 测试 的 应 用 ， 以 及 频繁 的 软件 更 新 与 升级 ， 回 归 测试 在 整个 
测试 过 程 中 的 地 位 越 来 越 高 。 测 试用 例 库 在 软件 的 反复 测试 过 程 中 会 不 断 地 扩充 与 完善 ， 用 例 
库 会 变 得 很 庞大 。 为 了 进行 及 时 的 回归 测试 ， 需 要 不 断 对 用 例 库 进行 维护 。 当 对 一 个 软件 版 本 
设立 基线 后 ， 相 应 的 所 有 测试 用 例 就 构成 了 基线 测试 用 例 库 。 软 件 基线 是 软件 源 代码 、 文 档 、 
测试 用 例 等 阶段 产品 的 一 个 稳定 版 本 , 是 进一步 开发 的 基础 。 基线 是 经 过 审核 和 授权 后 形成 的 ， 
基线 之 后 的 变更 都 被 记录 为 一 个 差 值 ， 直 到 形成 下 一 个 基线 。 

回归 测试 时 ， 根 据 测试 用 例 的 选择 策略 从 基线 测试 用 例 库 中 提取 合适 的 测试 用 例 以 构成 回 
归 测 试用 例 包 。 软件 的 变更 会 使 得 用 例 库 中 的 一 些 测试 用 例 变 得 过 时 , 失去 了 针对 性 和 有 效 性 。 
另外 ， 程 序 的 修改 与 功能 的 增加 使 软件 出 现 了 新 的 功能 和 特性 ， 此 时 仅仅 通过 重新 运行 以 前 的 
测试 用 例 已 经 无 法 发 现 新 程序 中 的 问题 , 必须 补充 新 的 测试 用 例 来 测试 新 功能 和 新 特性 。 因此 ， 
测试 用 例 库 的 维护 一 般 包 括 以 下 内 容 。 

。 删除 过 时 的 测试 用 例 。 
删除 元 余 的 测试 用 例 。 
修改 和 增强 部 分 测试 用 例 。 
改进 不 受 控 的 测试 用 例 。 不 受 控 的 测试 用 例 是 指 一 些 不 容易 重复 运行 并 且 测试 结果 难 
以 控制 的 用 例 ， 会 影响 回归 测试 的 效率 。 

e 增加 新 的 测试 用 例 ， 并 将 其 合并 到 基线 测试 用 例 库 中 。 

图 4-14 反映 了 基本 的 回归 测试 用 例 的 维护 过 程 。 此 外 ,通过 建立 程序 变化 与 用 例 之 间 的 跟 
踪 机 制 、 监 测 测试 用 例 的 变化 、 定 期 检查 和 清理 测试 用 例 、 设 定 度量 和 分 析 标准 等 措施 ， 可 以 
有 效 提高 回归 测试 用 例 的 质量 和 有 效 性 。 


原 测试 用 例 集 


回归 测试 内 容 


删除 过 时 和 元 
余 的 测试 用 例 


合并 测 
试用 例 


v YY 2 
(Na 人 [ ( ga 用例 人 人 不 可 修改 测试 用 全 


了 vy vy 
| 过 反光 用 全 ET 开发 新 的 测试 用 例 
v v 
( 可 用 的 而 用人 入 ( 个 改 后 的 江 用 们 条 ( (tems — 
回归 测试 包 


图 4-14 回归 测试 用 例 的 维护 过 程 
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- 什么 是 单元 测试 ? 单元 测试 和 集成 测试 有 什么 不 同 ? 

- 常见 的 软件 单元 都 有 哪些 ? 

. 为 什么 单元 测试 非常 重要 ? 

. 单元 测试 的 主要 任务 都 有 哪些 ? 

. 单元 测试 的 对 象 为 什么 不 能 是 一 组 函数 或 多 个 程序 的 组 合 ? 

. 单元 测试 为 什么 采用 白 盒 测 试 技术 并 且 一 般 由 开发 人 员 完 成 ? 
. 什么 是 驱动 模块 和 桩 模块 ? 

. 什么 是 集成 测试 ? 请 用 图 示 的 方法 说 明 自 项 向 下 渐 增 式 集成 测试 的 方法 。 
. 简 述 自 项 向 下 和 自 底 向 上 集成 测试 的 优 缺 点 。 

. 简 述 混合 集成 测试 的 优 缺 点 。 

. 简 述 集成 测试 和 系统 测试 的 区 别 。 

. 什么 是 核心 系统 先行 集成 测试 ? 

. 什么 是 持续 集成 测试 ? 

. 什么 是 系统 测试 ? 

. 什么 是 验收 测试 ? 

. 验收 测试 是 由 用 户 完成 的 吗 ? 为 什么 ? 

. 简 述 验收 测试 的 主要 内 容 。 

. 什么 是 测试 与 p 测 试 ? 试 比较 它们 的 异同 。 

. 简 述 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 的 不 同 之 处 。 
. 什么 是 回归 测试 ? 回归 测试 用 例 的 选择 都 有 哪些 策略 ? 
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用 户 对 于 软件 的 需求 主要 分 为 功能 需求 和 非 功能 需求 两 个 方面 ， 而 软件 测试 最 根本 的 目的 
就 是 检验 软件 是 否 满足 需求 规定 的 各 项 要 求 ， 因 此 功能 测试 与 非 功 能 测试 是 针对 用 户 需求 进行 
测试 的 两 个 主要 方面 。 功 能 测试 是 最 基本 的 软件 测试 内 容 ， 功 能 欠缺 或 不 正确 的 软件 系统 意味 
着 用 户 无 法 正常 使 用 。 非 功能 测试 用 于 保证 用 户 能 够 高 效 、 安 全 、 可 靠 地 使 用 软件 系统 ， 对 测 
试 技术 的 要 求 较 高 ， 掌 握 起 来 具有 一 定 的 难度 。 


对 功能 测试 和 非 功能 测试 的 基本 认识 


5.1.1 什么 是 功能 测试 


功能 测试 就 是 根据 软件 需求 规格 说 明 书 ， 检 验 软件 系统 是 否 满足 用 户 对 于 各 方面 功能 的 使 
用 要 求 ， 确 保 软件 以 用 户 期 望 的 方式 运行 。 

在 一 些 软件 测试 资料 中 ， 经 常 将 黑 盒 测 试 称 为 功能 测试 ， 将 功能 测试 和 黑 盒 测试 等 同 。 从 
严格 意义 上 讲 ， 这 种 说 法 是 不 准确 的 。 黑 盒 测试 既 可 以 用 于 功能 测试 也 可 以 用 于 非 功 能 测试 ， 
而 功能 测试 除了 主要 采用 黑 盒 测试 方法 外 也 可 以 采用 白 盒 测试 方法 ， 例 如 为 了 深入 验证 某 一 功 
能 的 正确 性 而 查看 源 代 码 或 者 跟踪 变量 值 的 变化 。 另 一 方面 ， 功 能 测试 可 以 在 单元 测试 、 集 成 
测试 、 系 统 测试 和 验收 测试 的 任何 一 个 阶段 进行 ， 需 要 在 不 同 的 测试 阶段 对 软件 功能 的 正确 性 
进行 验证 。 因 此 可 以 理解 ， 功 能 测试 反映 的 是 测试 目标 ， 而 黑 盒 测 试 反映 的 是 具体 测试 方法 ， 
两 者 的 含义 是 有 区 别 的 。 

功能 测试 之 所 以 经 常 被 等 同 于 黑 盒 测 试 的 原因 是 ， 功 能 测试 一 般 情 况 下 都 使 用 黑 盒 测试 方 
法 。 等 价 类 划分 、 边 界 值 分 析 、 因 果 图 法 、 正 交 实 验 法 和 场景 法 等 都 是 功能 测试 时 常用 的 黑 盒 
测试 方法 。 进 行 功能 测试 时 ， 测 试 人 员 一 般 都 是 直接 通过 软件 界面 或 程序 接口 进行 测试 ， 不 再 
对 软件 内 部 结构 和 处 理 过 程 进行 检查 。 功 能 测试 通过 软件 界面 运行 程序 ， 检 查 各 项 功能 是 否 完 
备 ， 以 及 运行 流程 和 执行 结果 是 否 正确 ; 通过 接口 检查 每 个 功能 是 否 能 够 正常 地 接收 收据 ， 并 
且 以 规定 的 格式 输出 结果 。 

功能 测试 在 不 同 测试 阶段 的 目的 有 所 不 同 。 单 元 测试 中 的 功能 测试 主要 验证 每 个 独立 模块 
功能 的 正确 性 ， 主 要 通过 判断 模块 在 不 同 输入 下 的 输出 结果 是 否 正确 ， 以 此 检查 模块 功能 是 否 
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完全 满足 需求 和 设计 结果 ; 集成 测试 中 的 功能 测试 主要 是 为 了 保证 集成 后 的 大 粒度 软件 功能 仍 
然 能 够 正常 工作 ; 系统 测试 中 的 功能 测试 主要 是 为 了 测试 软件 在 其 软 硬 件 应 用 环境 中 是 否 能 够 
正常 运行 ， 当 然 也 就 需要 检验 被 测 软件 与 外 围 支撑 软件 以 及 外 部 硬件 设备 的 交互 是 否 正确 ; 验 
收 测试 中 的 功能 测试 是 以 用 户 的 角度 测试 软件 系统 的 各 项 功能 是 否 满足 用 户 需求 ， 是 一 种 用 户 
业务 级 、 软 件 具体 使 用 功能 意义 上 的 测试 。 

既然 功能 测试 是 为 了 验证 软件 系统 是 否 满足 用 户 的 功能 需求 ， 那 么 完整 的 功能 测试 实际 上 
主要 是 在 系统 测试 和 验收 测试 时 完成 的 。 这 是 由 于 ， 系 统 测试 和 验收 测试 主要 以 软件 需求 规格 
说 明 书 作 为 测试 依据 ， 关 注 的 是 软件 业务 级 功能 需求 而 不 是 设计 级 的 细节 技术 需求 ， 用 户 一 般 
不 会 关心 具体 的 技术 实现 细节 。 另 一 方面 ， 系 统 测试 和 验收 测试 阶段 的 软件 系统 已 经 集成 了 外 
围 软 硬 件 ， 测 试 数据 和 测试 环境 都 是 或 极为 接近 用 户 真实 的 业务 数据 和 使 用 环境 ， 因 此 有 利于 
展开 全 面 的 功能 测试 。 


5.1.2 ”功能 测试 的 主要 内 容 


不 同 软件 系统 的 功能 千差万别 ， 因 此 功能 测试 的 差异 也 就 很 大 。 但 总 的 来 讲 ， 功 能 测试 的 
内 容 可 以 分 为 用 户 界面 (User Interface，UD、 数 据 、 操 作 、 罗 辑 和 接口 等 几 个 方面 的 测试 内 容 。 

(1) 用 户 界 面 。 测 试 软件 界面 是 否 规范 、 合 理 ， 用 户 与 软件 通过 界面 交互 是 否 方便 。 回 忆 
一 下 老式 的 DOS 用 户 界面 和 Window 图 形 用 户 界面 的 区 别 ,就 可 以 知道 软件 界面 对 于 软件 使 用 
功能 的 重要 性 。 智 能 手机 、 平 板 电脑 所 支持 的 多 点 触 控 功能 我 们 早已 不 再 随 生 。 随 着 技术 的 发 
展 ， 声 控 、 手 势 控制 、 生 物 信号 控制 等 更 加 丰富 了 用 户 界面 的 内 涵 。 用 户 界 面 功能 已 经 成 为 软 
件 功 能 组 成 中 不 可 缺少 的 一 个 重要 部 分 。 最 基本 的 软件 界面 也 要 求 布局 合理 、 美 观 清晰 、 菜 单 
和 按钮 等 操作 正常 ， 软 件 操作 过 程 中 有 相应 的 提示 信息 等 。 

(2) 数据 。 软 件 系统 从 广义 上 讲 就 是 数据 输入 、 处 理 和 输出 的 系统 ， 因 此 与 数据 有 关 的 测 
试 是 功能 测试 的 重要 内 容 ， 主 要 包括 以 下 几 个 方面 。 

e 能 正确 接收 数据 输入 ， 能 对 异常 数据 输入 进行 提示 或 进行 容错 处 理 。 

e 数据 的 输出 结果 正确 ， 并 且 符合 用 户 的 业务 规范 要 求 (如 报表 格式 或 使 用 习惯 。 

e 能 够 提供 合适 的 数据 存储 尤其 是 数据 备份 功能 ， 保 证 数据 的 安全 性 。 

e 数据 处 理 符合 规定 的 业务 流程 规范 。 

e 软件 升级 后 仍然 能 够 支持 旧版 本 的 数据 。 

(3) 操作 。 程 序 的 安装 、 启 动 以 及 邱 载 正常 ， 能 够 支持 各 种 主流 的 应 用 环境 。 各 项 功能 的 
操作 符合 用 户 的 要 求 与 习惯 ， 能 处 理 一 些 异 常 操作 ， 操 作 过 程 中 能 够 给 出 必要 的 提示 或 警示 ， 
对 于 一 些 操作 能 够 提供 回 退 或 撤销 功能 , 能 够 根据 操作 权限 或 操作 条 件 仅 提供 必要 的 操作 功能 。 
这 些 有 关 操 作 的 测试 内 容 都 是 保证 用 户 能 够 正常 使 用 软件 所 必需 的 。 

(4) 逻辑 。 功 能 逻辑 清晰 并 且 符合 用 户 使 用 习惯 ， 用 户 能 够 按照 合理 的 流程 很 自然 地 选择 
功能 和 使 用 软件 。 能 够 提供 必要 的 向 导 来 辅助 用 户 完成 多 步骤 的 软件 操作 ， 软 件 系统 的 状态 能 
够 根据 业务 流程 和 用 户 使 用 情况 而 变化 ， 例 如 系统 空闲 时 运行 后 台 程序 或 是 用 户 长 时 间 无 操作 
时 进入 节 电 模式 。 

(5) 接口 。 能 够 通过 接口 配合 使 用 多 种 常见 的 外 部 设备 (如 打印 机 )， 能 够 以 标准 的 方式 向 
外 部 应 用 系统 提供 接口 (如 Web Service 接口 )， 能 够 通过 规定 的 接口 使 用 第 三 方 软件 功能 。 此 
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外 ， 还 需要 检查 软件 系统 是 否 人 允许 自 定义 接口 配置 ， 以 及 接口 是 否 具有 良好 的 兼容 性 和 可 扩 
展 性 。 


5.1.3 ”什么 是 非 功能 测试 


高 质量 的 软件 产品 意味 着 不 仅 要 满足 用 户 的 功能 需求 ， 而 且 要 满足 诸如 性 能 、 可 靠 性 、 安 
全 性 等 非 功 能 需求 。 许 多 大 型 软件 系统 的 非 功能 需求 是 强制 性 的 ， 例 如 电信 系统 中 的 性 能 和 可 
靠 性 需求 ， 电 子 商务 系统 中 的 安全 性 需求 等 。 非 功能 测试 是 相对 于 功能 测试 而 言 的 ， 是 针对 软 
件 非 功能 属性 所 进行 的 测试 活动 。 通 俗 来 讲 ， 功 能 测试 面 对 的 是 软件 “能 不 能 用 和 够 不 够 用 ” 
的 问题 ， 而 非 功能 测试 面 对 的 是 软件 “好 不 好 用 ”的 问题 。 

软件 的 非 功能 属性 经 常会 被 忽视 ， 良 好 的 软件 系统 需要 在 分 析 、 设 计 和 实现 等 环节 都 充分 
考虑 系统 的 非 功能 需求 。 这 些 需 求 有 时 在 需求 分 析 说 明 书 中 己 有 明确 定义 ， 但 有 时 是 隐 含 的 ， 
需要 根据 软件 特点 和 经 验 予以 具体 化 。 忽 视 非 功 能 需求 会 直接 导致 软件 的 用 户 体验 很 差 甚至 不 
可 用 。 例 如 ， 国 内 12306 火车 票 网 上 订 票 系统 在 上 线 之 初 ， 当 遇 到 春运 高 峰 期 订 票 时 ， 由 于 订 
票 人 数 过 多 超过 系统 负荷 而 造成 短 时 期 的 系统 瘫痪 。 

软件 的 需求 描述 中 ， 功 能 需求 与 非 功能 需求 有 以 下 一 些 明 显 的 不 同 之 处 。 

e 功能 需求 通常 比较 明显 和 具体， 容易 捕捉 和 描述 ， 非 功能 需求 通常 比较 抽象 ， 而 且 主 

观 成 分 较 多 ， 例 如 性 能 的 概念 就 比较 抽象 ， 不 同 的 人 会 有 不 同 的 理解 。 
e 功能 需求 大 多 数 具有 局 部 特点 ， 通 常 采用 用 例 或 场景 的 方式 描述 ， 非 功能 需求 通常 具 
有 全 局 意义 ， 例 如 性 能 一 般 是 针对 整个 系统 而 言 。 

e 软件 系统 通常 需要 考虑 多 个 非 功能 需求 ， 例 如 性 能 、 可 靠 性 和 安全 性 等 ， 这 些 非 功能 

需求 之 间 往 往 存在 着 某 些 制约 和 依赖 关系 。 

e 功能 需求 有 很 多 规范 的 乃至 形式 化 的 描述 方法 ， 能 够 很 好 地 消除 歧义 性 ， 非 功能 需求 

很 多 采用 自然 语言 的 描述 方式 ， 具 有 很 大 的 随意 性 ， 缺 乏 精 确 性 和 完整 性 ， 给 需求 理 
解 、 设 计 和 开发 造成 很 大 困难 。 

非 功能 测试 经 常 需 要 定量 化 的 测试 指标 ， 类 似 “ 具 有 及 时 的 响应 时 间 ” 这 样 的 描述 是 不 可 
度量 的 。 应 当 使 用 SMART 标准 来 设计 非 功能 测试 目标 ， 也 就 是 用 具体 的 (Specific)、 可 度量 的 
(Measurable)、 可 实现 的 (Achievable)、 相 关 的 (Relevant)、 有 时 限 的 (Time-bound) 测 试 指标 来 指导 
测试 。 例 如 ，“ 操 作 的 响应 时 间 小 于 30 毫秒 ， 系 统 支持 不 超过 一 千 个 并 发 用 户 ”。 这 些 测试 
指标 需要 通过 分 析 软 件 哪 些 方面 可 能 有 性 能 问题 ， 哪 些 方面 可 能 影响 用 户 的 使 用 ， 然 后 在 分 析 
和 设计 阶段 就 定义 好 这 些 场景 ， 给 出 定量 化 的 测试 指标 。 

但 是 需要 注意 ， 对 于 什么 是 软件 的 非 功能 属性 至 今 都 缺乏 一 致 的 定义 。 在 一 些 文献 中 会 使 
用 质量 需求 、 质 量 属性 、 约 束 等 相似 的 名 词 来 指 代 非 功能 属性 。 为 了 便于 理解 ， 以 下 给 出 两 个 
比较 经 典 的 非 功 能 属性 定义 。 

(1) N.S. Rosa 认为 软件 的 功能 需求 定义 了 软件 期 望 做 什么 ， 而 非 功能 需求 则 指定 了 关于 软 
件 如 何 运 行 和 功能 如 何 展示 的 全 局 限制 。 

(2) X. Franch 认为 软件 的 非 功能 属性 是 可 以 用 来 作为 描述 及 评价 软件 的 一 种 方式 。 

那么 具体 来 讲 都 有 哪些 非 功能 属性 呢 ? 从 能 够 被 最 广泛 接受 的 观点 来 看 ， 非 功能 属性 应 当 
包括 以 下 内 容 : 性 能 、 可 靠 性 、 可 用 性 、 安 全 性 、 可 重用 性 、 可 维护 性 、 可 修改 性 、 可 移植 性 、 
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灵活 性 、 可 扩展 性 和 适应 性 等 。 这 些 概念 很 多 都 较为 模糊 ， 缺 乏 统一 的 定义 ， 而 且 很 多 非 功 能 
属性 的 含义 比较 接近 。 因 此 在 进行 非 功能 测试 前 ， 需 要 根据 具体 软件 特点 ， 在 项 目 人 员 能 够 统 
一 认识 的 基础 上 给 出 明确 的 定义 和 区 分 。 

然而 软件 的 非 功能 属性 和 功能 属性 之 间 可 以 严格 区 分 吗 ? JE. Burge 等 人 通过 探讨 后 认为 
两 者 有 时 很 难 区 分 ， 同 时 指出 非 功 能 需求 是 对 功能 需求 的 补充 ， 需 要 充分 考虑 对 功能 需求 的 影 
响 。 这 种 功能 与 非 功 能 属性 在 一 定 程度 上 的 模糊 性 使 得 一 些 测试 项 目 在 分 类 上 说 法 不 一 ， 例 如 
兼容 性 测试 和 安装 测试 有 些 人 认为 属于 功能 测试 ， 而 有 些 人 认为 属于 非 功能 测试 。 此 外 ， 在 实 
际 测试 时 ， 有 些 功能 测试 和 非 功能 测试 也 是 结合 在 一 起 进行 的 。 例 如 ， 人 常见 的 用 户 界面 测试 就 
结合 了 与 软件 操作 有 关 的 功能 测试 和 软件 可 用 性 、 灵 活性 等 方面 的 非 功 能 测试 。 因 此 在 实际 工 
作 中 ， 最 重要 的 是 根据 用 户 需求 定义 好 具体 的 测试 内 容 和 测试 指标 ， 保 证 软件 的 整体 质量 ， 不 
必 过 多 地 纠缠 于 测试 项 目的 功能 与 非 功能 分 类 。 


5.1.4” 非 功能 测试 的 主要 内 容 


国际 标准 化 组 织 在 ISO 9216 和 ISO 25000:2014 中 定义 了 一 些 非 功 能 属性 , 包括 可 靠 性 、 可 
用 性 、 可 维护 性 、 可 移植 性 等 。 相 应 的 非 功能 测试 一 般 包括 以 下 一 些 可 供 参考 的 内 容 ， 本 节 将 
选择 其 中 的 一 些 主要 测试 项 目 进行 详细 说 明 。 
e 性 能 测试 。 验 证 软件 系统 能 否 达到 用 户 提出 的 性 能 指标 ， 同 时 发 现 软件 系统 中 存在 的 
性 能 瓶颈 ， 以 使 于 对 系统 进行 优化 。 
e 压力 测试 。 模 拟 比 预期 要 大 的 工作 负载 来 暴露 只 在 系统 峰值 条 件 下 才 会 出 现 的 缺陷 
主要 是 为 了 测试 硬件 系统 的 性 能 ， 如 CPU 利用 率 、 内 存 使 用 率 、 磁 盘 IO 吞吐 率 、 网 


络 吞 吐 量 等 。 
e 负载 测试 。 主 要 测试 系统 在 高 于 正常 水 平 的 负载 下 所 出 现 的 性 能 问题 ， 如 最 大 并 发 用 
户 数 和 软件 请 求 出 错 率 等 。 


。 可 靠 性 测试 。 度 量 软 件 在 一 般 情形 和 非 预 期 情形 下 维持 正常 功能 的 能 力 ， 有 时 也 包括 
软件 出 错时 的 自我 恢复 能 力 ， 如 自动 定时 保存 文件 。 

。 低 资源 测试 。 确 定 系 统 在 重要 资源 (如 内 存 、 硬 盘 空 间 等 ) 降 低 或 不 足 的 情况 下 会 出 现 的 
软件 系统 状况 。 

。 容量 测试 。 确 定 系 统 最 大 承受 量 ， 如 最 大 用 户 数 、 最 大 存储 量 、 最 多 处 理 的 数据 流 
量 等 。 

。 重复 性 测试 。 循 环 运行 测试 直到 达到 具体 临界 值 或 异常 境况 ， 以 发 现 只 有 长 时 间 连 续 

运行 时 软件 系统 才 会 出 现 的 缺陷 。 

兼容 性 测试 。 测 试 软件 面 对 不 同 软 硬 件 平台 和 不 同 支持 软件 时 能 否 正常 运行 。 

安全 性 测试 。 检 查 系 统 对 非法 侵入 的 防范 能 力 。 

辅助 功能 测试 。 保 证 软件 系统 能 被 残疾 人 士 使 用 。 

本 地 化 测试 。 验 证 软件 能 否 满足 某 一 特定 地 区 的 语言 、 文 化 和 风俗 习惯 的 要 求 。 

配置 测试 。 验 证 被 测 软件 在 不 同 的 软件 和 硬件 配置 中 的 运行 情况 。 

可 用 性 测试 。 测 试 在 特定 使 用 情景 下 ， 软 件 产品 能 够 被 用 户 理解 、 学 习 和 使 用 的 方便 

程度 ， 以 及 评价 软件 产品 能 够 吸引 用 户 的 能 力 。 
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UI 测试 和 易 用 性 测试 


5.2.1 UI 测试 


用 户 与 软件 系统 的 交互 都 是 通过 用 户 界面 (User Interface，UD 完 成 的 。 目 前 绝 大 多 数 的 软件 
系统 都 具备 图 形 用 户 界 面 (Graphical User Interface，GUD， 因 此 当前 UI 测试 主要 是 针对 GUI 进 
行 的 测试 。 用 户 界面 的 优 劣 直接 影响 着 用 户 能 否 很 容易 地 学 会 软件 操作 和 高 效 地 使 用 软件 的 各 
种 功能 ， 因 此 可 测试 已 经 是 一 项 独立 的 、 不 可 缺少 的 功能 测试 项 目 。 

良好 的 用 户 界面 (如 图 5-1 所 示 ) 会 让 人 感觉 简洁 清晰 、 布局 合理 , 即使 不 借助 详细 的 用 户 使 
用 手册 也 能 够 自然 而 然 地 上 手 应 用 。 有 具体 来 讲 ， 可 以 从 以 下 几 个 方面 来 考量 好 的 软件 用 户 界面 
所 应 当 具备 的 要 素 。 


| LabVIEW 数据 采集 1 分析 | 显示 演示 程序 
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图 5-1 良好 用 户 界面 的 示例 


1) 符合 标准 和 规范 

e 对 于 面向 特定 行业 和 特定 用 户 的 项 目 类 软件 ， 软 件 界面 功能 的 分 类 组 织 、 用 词 用 语 、 
业务 操作 流程 等 要 符合 行业 标准 和 使 用 习惯 。 

e 对 于 通用 类 软件 ， 已 经 形成 约定 俗 成 的 界面 风格 和 使 用 习惯 ， 例 如 Windows 窗口 风格 
包含 菜单 、 工 具 栏 、 状 态 栏 、 右 键 快捷 菜单 等 标准 格式 ， 编 辑 、 帮 助 等 主 菜单 中 的 子 
菜单 内 容 和 排列 顺序 等 也 都 形成 事实 上 的 标准 。 用 户 在 长 期 使 用 软件 的 过 程 中 已 经 习 
惯 相应 的 标准 和 规范 ， 软 件 界面 符合 这 些 要 求 能 够 方便 用 户 快速 掌握 软件 使 用 方法 。 

2) 直观 性 

e 界面 整洁 、 清 晰 ， 所 需 功 能 或 者 期 待 的 结果 应 该 明显 ， 并 在 预期 的 地 方 出 现 。 

e 界面 组 织 和 布局 合理 ， 界 面 的 整体 或 局 部 功能 繁 简 适 宜 ， 信 息 简洁 明了 。 
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LU 


中 -和 人 


界面 操作 引导 性 强 ， 人 允许 用 户 轻松 地 从 一 个 功能 转 到 另 一 个 功能 ， 随 时 清楚 下 一 步 应 
当做 什么 ， 并 且 可 以 执行 取消 或 退回 操作 。 


六 一 臻 性 


快捷 键 和 菜单 项 一 致 , 如 Fl 键 对 应 帮助 信息 , Cal+C 和 CtrltV 快捷 键 对 应 拷贝 和 粘贴 。 
整个 软件 使 用 同样 的 命令 术语 。 

软件 信息 的 内 容 能 够 针对 用 户 的 层次 。 

按钮 位 置 一 致 ， 如 OK 按钮 总 是 在 左边 ， 而 Cancel 按钮 总 是 在 右边 。 

等 价 的 按键 与 命令 一 致 ， 如 Cancel 按钮 的 等 价 按键 通常 是 Esc。 

灵活 性 

用 户 可 以 对 界面 进行 部 分 个 性 化 设 定 ， 如 QQ 的 个 性 化 皮肤 。 

高 级 用 户 能 够 跳 过 众多 的 阶段 性 提示 ， 直 接 到 达 想 要 去 的 地 方 。 

多 种 灵活 的 数据 输入 和 输出 方式 ， 例 如 用 户 可 以 通过 拷贝 粘贴 、 鼠 标 拖 放 、 对 象 插入 、 
多 种 数据 源 导入 等 方式 输入 数据 ， 可 以 用 多 种 图 表 方式 输出 数据 。 

可 以 用 Tab 键 移动 软件 界面 上 的 焦点 。 


5) 舒适 性 


软件 界面 美观 得 体 、 操 作 流 畅 ， 界 面 外 观 应 当 与 用 户 的 工作 或 软件 特点 相符 ， 例 如 工 
作 类 软件 和 娱乐 类 软件 就 应 当 具 有 不 同 的 界面 风格 。 

软件 界面 友好 ， 能 够 对 重要 操作 做 出 预先 警示 ， 允 许 用户 恢 复 由 于 错误 操作 而 丢失 的 
数据 。 

能 够 提示 工作 进度 ， 向 用 户 反 馈 操作 持续 时 间 。 


6) 正确 性 


没有 多 余 的 或 遗漏 的 功能 ， 功 能 操作 正常 ， 语 言 和 拼写 正确 。 
软件 界面 包含 的 图 标 、 图 像 、 声 音 和 视频 准确 无 误 。 
能 够 根据 用 户 权限 和 任务 执行 阶段 显示 可 执行 的 功能 。 


7) 实用 性 


检查 软件 界面 交互 过 程 中 的 各 种 具体 功能 是 否 实用 。 
保证 不 存在 过 量 的 无 用 功能 ， 大 量 无 用 的 、 不 需要 的 功能 往往 在 通用 产品 类 软件 中 表 
现 较为 突出 。 


具体 的 UI 测试 可 以 分 为 手工 测试 和 自动 化 测试 两 种 。 手 工 测试 是 按照 软件 需求 和 设计 文 
档 ， 逐 项 操作 界面 中 的 各 项 功能 ， 输 入 测试 数据 ， 比 较 运行 结果 和 预期 结果 ， 然 后 得 出 测试 结 
论 。 但 是 软件 规模 越 来 越 庞大 ， 所 包含 的 功能 也 越 来 越 复杂 ， 软 件 系统 经 常 上 共有 非常 丰富 的 用 
户 界面 ， 每 个 界面 又 涉及 数量 众多 的 界面 元 素 。 因 此 ， 必 须 借 助 自动 化 的 UI 测试 技术 才能 达 
到 测试 目标 。 UI 自动 化 测试 主要 通过 一 些 自动 化 测试 工具 来 完成 , 这 些 工 具 能 够 将 界面 操作 记 


录 为 可 


[执行 脚本 ， 通 过 修改 或 编写 测试 脚本 来 生成 UI 测试 用 例 ， 通 过 自动 化 执行 这 些 测试 用 


例 就 可 


[以 完成 大 量 简单 、 机 械 和 重复 的 UI 测试 工作 。 


UI 自动 化 测试 的 优点 是 不 需要 太 多 的 计划 、 编 程 和 调试 ， 简 单方 便 。 但 是 由 于 稳定 性 和 兼 
容 性 差 ， 测 试 脚本 的 生命 周期 往往 较 短 ， 因 此 被 很 多 人 认为 是 投入 回报 率 很 低 的 自动 化 测试 工 
作 。UI 自动 化 测试 目前 受到 很 多 质疑 的 根本 原因 还 是 测试 不 稳定 ， 例 如 测试 环境 不 稳定 、 被 测 
用 户 界 面 经 常 修改 不 稳定 、 测 试 框架 运行 不 稳定 。 虽 然 存在 上 述 缺 点 ， 但 UI 自动 化 测试 是 必 
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须要 做 的 。 主 要 原因 是 UI 测试 占用 大 量 测试 时 间 ， 很 多 专职 测试 人 员 的 日 常 工作 就 是 在 做 UI 
测试 ， 测 试 工具 的 引入 能 够 提高 测试 效率 。 另 外 更 为 重要 的 是 ， 软 件 除了 后 台 逻 辑 功 能 外 ， 还 
包括 很 多 前 端 脚本 和 样式 ， 单 纯 依靠 接口 和 单元 测试 无 法 证 明 用 户 端的 可 用 性 。 实 际 UI 测试 
工作 中 ， 应 当 将 手工 测试 和 自动 化 测试 结合 进行 。 

用 户 界面 测试 内 容 可 以 分 为 以 下 两 类 。 

e 界面 整体 测试 。 主 要 评价 用 户 界面 的 规范 化 、 合 理性 和 一 致 性 。 

e 界面 元 素 测 试 。 主 要 对 菜单 、 控 件 等 界面 中 的 元 素 进 行 测试 。 

测试 工作 中 一 般 将 界面 测试 用 例 和 软件 的 逻辑 功能 测试 用 例 分 开 来 写 ， 通 常 采用 检查 表 这 
种 简单 测试 用 例 的 形式 进行 。 检 查 表 不 涉及 具体 的 界面 逻辑 功能 ， 只 是 检查 界面 布局 和 风格 等 
方面 的 问题 。 界 面 测试 中 会 有 很 多 种 检查 表 ， 不 同 的 软件 企业 、 软 件 产品 会 有 不 同 的 检查 表 内 
容 。 表 5-1 一 表 5-4 给 出 了 几 种 主要 的 、 较 为 通用 的 界面 测试 检查 表 ， 可 以 在 实际 工作 中 予以 参 
考 和 适当 补充 。 


表 5-1 窗 体 界面 的 测试 
测试 内 容 


不 过 于 密集 或 空旷 
不 过 于 密集 或 空旷 
窗 体 本 身 刷新 正确 ， 背 景 刷新 正确 
缩放 窗 体 ， 窗 体 上 的 控件 也 应 该 随 着 窗 体 而 缩放 
不 同 的 显示 分 辩 率 下 ， 窗 体内 容 正确 
随 操作 不 同 ， 状 态 栏 的 内 容 能 正确 变化 
单 击 工具 栏 图 标 后 能 正确 执行 相应 操作 
工具 栏 显示 的 图 标 和 菜单 中 的 图 标 -一 致 ， 能 直观 代表 要 完成 的 操作 
内 容 正确 、 语 义 清晰 、 无 错别字 
10 | 父 窗 体 的 中 心 位 置 在 屏幕 对 角 线 焦点 附近 
11 | 主 窗 体 的 中 心 位 置 在 屏幕 对 角 线 焦点 附近 
12 ”| 子 窗 体位 置 在 主 窗 体 的 左上 角 或 正中 
13 | 多 个 子 窗 体 弹出 时 应 该 依次 向 右 下 方 偏 移 ， 以 显示 出 窗 体 标题 为 宜 
14 。 | 重要 的 、 使 用 较 频 繁 的 按钮 要 放 在 界面 上 醒目 的 位 置 
15 。 | 界面 长 宽 比 接近 黄金 比例 ， 不 要 长 宽 比例 失调 
16 | 按钮 大 小 基本 接近 
17 | 不 用 太 长 的 名 称 
18 。 | 按钮 的 大 小 与 界面 的 大 小 及 空间 协调 
19 | 字体 的 大 小 与 界面 的 大 小 及 比例 协调 通常 使 用 宋体 ， 字 号 为 9~12 
20 | 前 景色 与 背景 色 搭配 合理 协调 ， 使 用 柔和 颜色 ， 杜 绝 刺 目的 颜色 
21 。 | 界面 风格 要 保持 一 到 字体 、 字 号 、 颜 色 等 相同 
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表 5-2 菜单 的 测试 
测试 内 容 


菜单 能 正常 工作 ， 菜 单 标题 与 实际 执行 内 容 一 致 ， 无 错别字 
快捷 键 和 热 键 无 重复 


快捷 键 和 热 键 正常 工作 ， 与 实际 执行 内 容 一 至 


菜单 的 字体 、 字 号 一 致 ， 无 中 英文 混合 使 用 情况 


菜单 和 语 境 相关 ， 对 于 不 同 用 户 或 用 户 执行 不 同 的 功能 时 显示 菜单 不 同 
与 当前 进行 的 操作 无 关 的 菜单 应 该 被 置 为 灰色 
鼠标 右键 菜单 操作 ， 测 试 内 容 同 以 上 


菜单 采用 “常用 -主要 -次 要 -工具 -帮助 ”的 顺序 排列 ， 符 合 Windows 风格 


wlwm | |o |v sw | ||- 


下 拉 菜 单 根据 菜单 的 含义 进行 分 组 ， 并 按照 一 定 的 规则 排列 ， 用 横 线 隔 开 
菜单 深度 一 般 要 求 最 多 控制 在 3 层 以 内 


菜单 前 的 图 标 大 小 适合 ， 与 字 高 保持 一 致 


主 菜单 数目 合适 ， 应 为 单 排 布置 


表 5-3 控件 的 测试 


测试 内 容 
界面 控件 风格 一 致 ， 符 合 Windows 风格 


控件 摆 放 对 齐 、 间 隔 一 致 


控件 没有 重 受 区 域 


无 错别字 、 无 中 英文 混合 、 文 字 无 全 角 和 半角 混合 使 用 情况 


控件 的 字体 一 致 ， 大 小 适宜 


控件 显示 完整 ， 不 被 裁 切 ， 不 被 重生 


表 54 公司 产品 标识 的 测试 
测试 内 容 


安装 界面 上 有 公司 的 图 标 、 介 绍 ， 有 产品 介绍 


主 界面 和 大 多 数 界面 上 最 好 有 公司 的 图 标 


登录 界面 上 有 产品 的 标志 ， 同 时 包含 公司 的 图 标 
选择 “帮助 ”->“ 关 于 ”命令 可 看 见 版 权 信息 ， 可 看 见 产品 的 信息 


wim | lav Is | | I~ 
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背景 色 

字体 
公司 的 系列 产品 要 保持 | 菜单 排列 方式 
一 致 的 界面 风格 图 标 

安装 过 程 


5.2.2 易 用 性 测试 


易 用 性 测试 (Usability Testing) 又 称 为 可 用 性 测试 , 是 从 软件 使 用 的 合理 性 和 方便 性 等 角度 对 
软件 系统 进行 的 测试 ， 用 来 检查 用 户 学 习 、 操 作 和 理解 软件 的 难 易 程度 。 例 如 ， 软 件 安 装 的 简 
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便 性 、 操 作 的 灵活 性 、 界 面 的 友好 性 等 。ISO/IEC 9126-1 将 易 用 性 定义 为 : “在 特定 使 用 情景 
下 ， 软 件 产品 能 够 被 用 户 理解 、 学 习 、 使 用 以 及 能 够 吸引 用 户 的 能 力 ”。 通 过 易 用 性 测试 能 够 
保证 软件 系统 适合 于 不 同 特点 的 用 户 ， 面 向 所 有 可 能 的 使 用 者 ， 包 括 为 残疾 人 和 有 缺陷 的 人 提 
供 使 用 软件 产品 的 有 效 途 径 和 手段 。 

易 用 性 测试 的 主观 性 较 强 ， 而 且 随 着 具体 产品 或 项 目的 特征 不 同 而 有 很 大 差异 。 例 如 手机 
软件 和 一 般 Windows 程序 的 软件 易 用 性 差别 很 大 ,即使 对 同一 个 软件 , 不同 的 用 户 也 有 不 同 的 
感受 。 易 用 性 的 影响 因素 很 多 ， 因 此 在 不 同 的 测试 内 容 中 或 多 或 少 都 存在 着 对 软件 易 用 性 的 考 
虑 。 但 是 ， 由 于 用 户 最 终 要 通过 软件 界面 来 使 用 软件 系统 ， 因 此 一 般 情 况 下 易 用 性 测试 与 界面 
测试 会 安排 在 一 起 进行 。 表 5-5 和 表 5-6 是 一 些 通用 的 软件 界面 易 用 性 测试 内 容 ， 实 际 测试 时 
可 以 归并 到 相应 的 界面 测试 内 容 中 。 


表 5-5 控件 易 用 性 测试 
编号 测试 内 容 
1 按钮 名 称 易 懂 ， 用 词 准确 ， 与 同一 界面 上 的 其 他 按钮 易于 区 分 
2 常用 按钮 支持 快捷 方式 
3 相同 或 相近 功能 的 按钮 用 Frame 框 起 来 ， 并 有 标题 或 功能 说 明 
4 集中 放置 完成 同一 功能 或 任务 的 元 素 
应 当 把 首先 输入 数据 和 具有 重要 信息 的 控件 安排 在 Tab 顺序 中 靠 前 的 位 置 , 并 放 在 窗口 中 较 醒 
目的 位 置 
选项 卡 控件 支持 在 页 面 间 快捷 切换 ， 常 用 的 快捷 键 为 Ctl+Tab 
默认 按钮 要 支持 “ 回 车 ” 即 选 操作 


选择 常用 功能 或 数值 作为 默认 值 

单 选 按钮 、 复 选 框 、 列 表 框 、 下 拉 列 表 框 |_ 按 选择 概率 的 高 低 排 列 
10 的 内 容 或 条 目 较 多 的 时 候 按 字 母 顺 序 排列 
11 单 选 按钮 和 复 选 框 按钮 有 默认 选项 


12 界面 空间 较 小 时 使 用 下 拉 列 表 框 而 不 用 单 选 框 

13 选项 条 目 较 少 时 使 用 单 选 按 钮 ， 相 反 使 用 下 拉 列 表 框 

14 专业 性 强 的 软件 要 使 用 相关 的 专业 术语 ， 通 用 性 界面 则 提倡 使 用 通用 性 术语 
15 不 同 界面 的 通用 按钮 的 位 置 保持 一 致 

16 常用 按钮 的 等 价 按键 保持 一 致 

17 对 可 能 给 用 户 带 来 损失 的 操作 最 好 支持 可 逆 性 处 理 

18 对 可 能 造成 等 待 时 间 较 长 的 操作 应 该 提供 取消 功能 ， 并 显示 操作 的 状态 
19 根据 需要 ， 程 序 能 自动 过 滤 输 入 的 空格 


易 用 性 测试 也 应 当 包括 对 软件 联机 帮助 功能 的 测试 ， 相 应 的 主要 测试 内 容 如 表 5-7 所 示 。 
由 于 测试 人 员 经 常 将 主要 精力 放 在 测试 软件 的 各 部 分 功能 上 , 因此 联机 帮助 测试 经 常会 被 忽略 。 
用 户 在 使 用 软件 的 过 程 中 如 果 碰 到 问题 ， 经 常会 第 一 时 间 从 联机 帮助 中 寻找 解决 办 法 。 为 了 方 
便 起 见 ， 用 户 说 明 书 等 内 容 也 经 常 被 编译 到 联机 帮助 中 。 因 此 ， 需 要 从 用 户 的 角度 检验 联机 帮 
助 使 用 的 方便 性 、 可 靠 性 和 准确 性 。 
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表 5-6 菜单 易 用 性 测试 


编号 测试 内 容 

1 常用 菜单 项 要 有 快捷 键 

菜单 项 前 的 图 标 能 直观 代表 要 完成 的 操作 

3 一 组 菜单 的 使 用 有 先后 要 求 或 有 向 导 作用 时 ， 按 先后 次 序 排列 

4 没有 顺序 要 求 的 菜单 按 使 用 频率 和 重要 性 排列 ， 常 用 的 和 重要 的 放 前 面 
s 

6 主 菜单 要 求 : 字数 一 般 不 多 于 4 个 

7 每 个 菜单 项 的 字数 最 好 能 相同 
本 工具 栏 可 以 根据 用 户 的 需求 进行 定制 

9 相同 或 相近 功能 的 工具 栏 放 在 一 起 

10 工具 栏 的 图 标 能 直观 代表 要 完成 的 操作 


lal ls ls |- 第 


状态 条 能 显示 用 户 切实 需要 的 信息 。 如 果 某 一 操作 需要 的 时 间 较 长 ， 还 应 该 显示 进度 条 和 进程 
提示 

滚动 条 的 长 度 根据 显示 信息 的 长 度 或 宽度 及 时 变换 

菜单 和 工具 栏 有 清楚 的 界限 

菜单 和 状态 条 通常 使 用 5 号 字体 


表 5-7 联机 帮助 测试 
测试 内 容 

操作 时 提供 及 时 调用 系统 帮助 的 功能 ， 常 用 F1 键 来 调用 
调用 帮助 时 要 有 及 时 性 和 针对 性 ， 能 及 时 定位 与 操作 相应 的 帮助 信息 
最 好 提供 目前 流行 的 联机 帮助 格式 或 HTML 帮助 格式 
可 使 用 关键 词 在 帮助 索引 中 搜索 帮助 内 容 ， 也 可 以 通过 帮助 主题 词 进行 搜索 
如 果 没 有 提供 书面 的 帮助 文档 的 话 ， 要 有 打印 帮助 的 功能 
在 帮助 中 提供 软件 的 技术 支持 方式 
软件 升级 后 ， 软 件 变动 部 分 的 内 容 要 在 帮助 文档 中 做 出 一 致 性 修改 


[县 〗 性 能 测试 


随 着 软件 应 用 的 普及 ， 软 件 性 能 越 来 越 受到 人 们 的 关注 。 软 件 功能 的 正确 性 并 不 意味 着 其 
性 能 也 能 满足 用 户 要 求 ， 例 如 网 站 页 面 如 果 总 是 需要 长 时 间 等 待 则 会 失去 用 户 。 一 些 医疗 、 交 
通 等 时 间 敏 感性 系统 或 实时 控制 系统 甚至 将 一 些 软件 性 能 指标 作为 强制 性 要 求 。 性 能 测试 是 为 
了 检测 软件 系统 在 特定 条 件 下 的 性 能 表现 ， 保 证 软件 性 能 需求 以 及 与 性 能 相关 的 约束 和 限制 条 
件 得 到 满足 ， 评 估 系 统 的 处 理 能 力 ， 识 别 系统 的 瓶颈 和 弱点 ， 并 最 终 对 系统 性 能 进行 优化 。 性 
能 测试 涉及 较 多 的 理论 和 技术 内 容 ， 经 常 需要 利用 性 能 测试 工具 才能 完成 ， 测 试 操 作 和 结果 分 
析 也 比较 复杂 ， 因 此 属于 软件 测试 中 的 高 端 领域 ， 一 般 由 专职 的 性 能 测试 工程 师 或 专门 的 性 能 
测试 小 组 来 完成 。 
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5.3.1 性 能 测试 的 分 类 


性 能 测试 一 般 可 以 分 为 常规 性 能 测试 、 负 载 测试 、 压 力 测试 和 容量 测试 ， 此 外 还 包括 稳定 
性 测试 、 可 恢复 性 测试 和 基准 测试 等 。 其 中 负载 测试 是 性 能 测试 的 一 种 基本 技术 和 方法 ， 被 广 
泛 应 用 于 常规 性 能 测试 、 压 力 测试 和 容量 测试 。 

1) 常规 性 能 测试 

常规 性 能 测试 是 在 系统 正常 条 件 下 进行 的 测试 ， 是 为 了 检测 软件 正常 使 用 时 是 否 满足 用 户 
的 性 能 需求 。 也 就 是 说 ， 常 规 性 能 测试 是 让 软件 系统 在 正常 的 软 硬 件 环境 下 运行 ， 不 向 其 施加 
任何 压力 的 性 能 测试 。 有 时 为 了 使 系统 保留 一 定 的 性 能 余地 ， 可 以 进行 一 些 略 超 正常 条 件 范围 
的 测试 。 

所 谓 正常 条 件 ， 一 般 指 软件 系统 的 合理 配置 ， 软 件 产品 往往 有 最 低 配置 和 推荐 配置 两 项 指 
标 ， 如 CPU、 内 存 和 硬盘 的 配置 。 低 于 最 低 配 置 的 软件 无 法 正常 运行 ， 符 合 或 高 于 推荐 配置 的 
软件 性 能 表现 会 很 好 。 常 规 性 能 测试 可 以 在 推荐 配置 下 运行 软件 , 单机 版 软件 可 以 检查 CPU 和 
内 存 使 用 率 等 指标 , 简单 地 通过 任务 管理 器 就 能 查看 一 些 性 能 指标 (如 图 5-2 所 示 ); 网 络 版 软件 
可 以 通过 单个 用 户 操作 ， 测 试 主要 事务 的 响应 时 间 和 服务 器 资源 的 消耗 情况 。 通 过 常规 性 能 测 
试 可 以 保证 基本 条 件 下 的 软件 系统 性 能 满足 要 求 。 


旦 Yindows 任务 管理 器 

文件 下， 过 项 @) 查看 WD 关机 QW 帮助 0 

应 用 程序 | 进程 “] 竹 需 ”| 联网 [用户 
CPV 使 用 CEV 使 用 记录 


页 面 文件 使 用 记录 


可 用 数 
系统 缓存 


核心 内 存 IE) 
总 数 


图 5-2 任务 管理 器 中 的 性 能 监视 


2) 负载 测试 
模拟 软件 系统 的 负载 条 件 ， 不 断 增加 系统 负载 大 小 和 改变 系统 负载 加 载 方式 ， 直 到 超过 预 
期 性 能 指标 或 者 部 分 资源 已 经 达到 饱和 。 其 目的 是 通过 观察 系统 响应 时 间 、 数 据 吞吐 量 和 资源 
占用 率 等 指标 ， 检 验 与 负载 有 关 的 系统 行为 和 性 能 特性 ， 发 现 可 能 存在 的 问题 。 
3) 压力 测试 
又 称 为 强度 测试 ， 可 以 分 为 稳定 性 压力 测试 和 破坏 性 压力 测试 两 种 。 
e 稳定 性 压力 测试 是 一 种 疲劳 测试 ， 是 给 软件 系统 施加 很 高 的 负载 ， 使 系统 达到 一 定 的 
CPU、 内 存 等 资源 利用 饱和 度 ， 然 后 长 时 间 地 连续 运行 系统 以 检验 系统 是 否 会 出 现 错 
误 ， 一 般 用 于 系统 稳定 性 测试 。 
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e 破坏 性 压力 测试 是 指 通过 不 断 地 向 被 测 系 统 施加 压力 ， 直 到 使 系统 崩溃 为 止 。 其 目的 
是 发 现 系统 能 够 承受 的 最 大 负荷 ， 检 验 软件 系统 在 用 户 使 用 高 峰 情况 下 的 行为 表现 ， 
以 及 评估 系统 是 否 具备 良好 的 容错 性 和 可 恢复 性 。 

4) 容量 测试 

容量 测试 是 指 通 过 特定 的 方法 ， 检 测 系统 能 够 承载 的 最 大 处 理 任务 的 极限 值 ， 例 如 能 够 处 

理 的 最 大 并 发 用 户 数 、 最 大 数据 库 记 录 数 等 。 通过 容量 测试 可 以 确认 系统 处 理 大 数据 量 的 能 力 ， 
保证 系统 在 计算 资源 达到 满 负荷 的 情况 下 ， 系 统 功 能 和 性 能 仍然 能 够 满足 要 求 。 容 量 测试 还 能 
验证 系统 在 给 定时 间 内 能 够 持续 处 理 的 最 大 负载 和 任务 量 。 

5) 稳定 性 测试 

也 称 为 可 靠 性 测试 ， 是 指 让 系统 在 一 定 的 环境 和 负载 条 件 下 持续 运行 一 定 的 时 间 ， 观 察 系 

统 是 否 达 到 要 求 的 稳定 性 。IEEE 将 可 靠 性 测试 定义 为 : “系统 在 特定 的 环境 下 和 规定 的 时 间 内 
无 故障 运行 的 概率 ”。 这 就 要 求 测试 前 必须 给 出 明确 的 系统 稳定 性 指标 ， 常 见 的 指标 有 以 下 
几 种 。 

e@ MTTF(Mean Time To Failure)。 对 于 不 可 修复 系统 ， 系 统 的 正常 运行 时 间 指 系统 发 生 失 
效 前 的 平均 工作 时 间 , 也 称 为 系统 在 失效 前 的 平均 时 间或 平均 无 故障 时 间 。.MTTF 越 大 ， 
系统 的 稳定 性 越 强 。 

e@ MTBF(Mean Time Between Failure)。 对 于 可 修复 系统 ， 系 统 的 正常 运行 时 间 指 两 次 相 邻 
失效 (故障 ) 之 间 的 平均 工作 时 间 ， 也 称 为 系统 平均 失效 间隔 时 间 。MTBF 越 大 ， 系 统 的 
稳定 性 越 强 。 

e@ MTTR(Mean Time To RepaiD。 又 称 为 可 修复 产品 的 平均 修复 时 间 ， 就 是 从 出 现 故 障 到 
修复 完成 之 间 的 这 段 时 间 。MTTR 越 短 ， 表 示 可 恢复 性 越 好 。 

稳定 性 和 可 靠 性 是 软件 系统 的 固有 属性 ， 与 软件 包含 的 缺陷 密切 相关 。 任 何 软件 系统 都 不 

可 能 达到 完全 的 正确 性 。 软件 的 可 靠 性 无 法 精确 度量 , 一 般 都 是 通过 软件 测试 的 方法 进行 评估 。 
同时 ， 通 过 稳定 性 或 可 靠 性 测试 ， 还 可 以 给 出 软件 测试 工作 何 时 可 以 结束 的 一 些 依据 。 

6) 可 恢复 性 测试 

可 恢复 性 测试 是 为 了 检测 软件 系统 发 生 异 常 错误 或 灾难 性 错误 后 的 恢复 能 力 ， 例 如 部 分 软 
件 或 硬件 损坏 、 系 统 断 电 、 系 统 骨 省 等 ， 是 对 系统 容错 能 力 的 一 种 测试 方法 。 可 恢复 性 测试 一 
般 通 过 各 种 人 为 的 方法 使 系统 软 硬 件 出 现 故障 ， 然 后 检测 能 否 通过 自动 恢复 或 人 工 恢复 的 方法 
在 规定 的 时 间 内 使 系统 恢复 正常 。 

可 恢复 性 测试 一 般 关 注 的 是 恢复 系统 所 需要 的 时 间 和 能 够 恢复 的 程度 。 容 错 性 很 好 的 系统 
应 当 能 够 快速 从 错误 状态 恢复 到 正常 状态 ， 错 误 的 最 终 影响 不 至 于 对 全 局 系统 的 运行 产生 恶劣 
影响 ， 尤 其 是 不 能 使 关键 业务 数据 无 法 恢复 。 配 置 硬件 备份 系统 是 一 种 常见 的 提高 系统 可 恢复 
性 的 方法 ， 例 如 通过 使 用 两 台 服务 器 实现 双 机 热 备 ， 当 一 台 服 务 器 出 现 故 障 时 ， 可 以 由 另 一 台 
服务 器 承担 服务 任务 ， 从 而 在 不 需要 人 工 干预 的 情况 下 ， 自 动 保证 系统 能 持续 提供 服务 。 又 比 
如 ， 在 配 有 负载 均衡 的 系统 中 ， 当 负载 压力 使 得 主机 已 无 法 正常 工作 时 ， 备 份 机 能 够 快速 地 接 
管 多 余 负 载 。 对 于 由 系统 自我 完成 的 自动 恢复 ， 需 要 检验 重新 初始 化 、 检 查 点 、 数 据 恢复 和 重 
新 启动 等 机 制 的 正确 性 ， 对 于 需要 人 工 干预 的 系统 恢复 ， 还 需要 评估 系统 的 平均 修复 时 间 以 确 
定 其 是 否 在 规定 的 时 间 范 围 内 。 

可 恢复 性 测试 一 般 包 括 以 下 测试 内 容 : 


避 | 


9| 
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e 硬件 故障 。 测 试 发 生硬 件 故障 后 系统 是 否 具备 有 效 的 保护 和 恢复 能 力 ， 例如 是 否 具有 
元 余 备份 和 自动 服务 切换 能 力 。 此 外 ， 还 包括 测试 系统 是 否 具 有 合理 的 故障 诊断 方法 、 
及 时 的 故障 处 理 方法 以 及 详细 的 故障 记录 与 报告 方法 等 相关 能 

e@ 软件 故障 。 测 试 系统 的 程序 和 数据 是 否 有 可 靠 的 备份 措施 ， 在 故障 发 生 之 后 能 否 正常 
恢复 使 系统 继续 运行 。 此 外 ， 还 包括 测试 软件 发 生 故 障 时 系统 能 否 有 提示 信息 并 指示 
处 理 方法 ， 能 否 自动 隔离 局 部 故障 以 及 对 局 部 故障 进行 在 线 修复 。 

@ 数据 故障 。 主 要 测试 数据 在 处 理 中 途 出 现 问题 时 ， 例 如 系统 掉 电 、 数 据 交 换 或 数据 同 
步 出 现 问题 后 ， 系 统 能 否 恢复 运行 以 及 能 够 恢复 的 程度 。 i a dd 
需要 查证 数据 库 一 致 性 约束 机 制 和 数据 处 理 的 事务 机 制 是 否 发 挥 作 用 ， 相 关 数 据 是 
恢复 到 原来 的 状态 。 

e 通信 故障 。 当 出 现 网 络 传输 等 通信 故障 时 ， 系 统 能 否 对 错误 进行 纠正 ， 能 否 恢复 到 故 

障 前 的 运行 状态 ， 例 如 是 否 具备 数据 断 点 续 传 功能 。 此 外 ， 还 包括 测试 通信 故障 的 处 
理 措施 是 否 合理 。 

从 以 上 内 容 可 以 看 出 ， 备 份 测试 是 恢复 性 测试 的 重要 组 成 部 分 或 是 一 种 重要 补充 。 在 实际 
工作 中 ， 技 术 人 员 恢 复 系统 时 最 为 关心 的 是 能 否 完好 无 损 地 恢复 业务 数据 ， 可 以 从 以 下 几 个 方 
面 进行 备份 测试 。 

e 文件 和 数据 的 存储 以 及 备份 机 制 与 功能 是 否 健全 。 

e 系统 备份 工作 的 步骤 是 否 合理 与 完善 。 

e 手工 备份 和 自动 化 备份 的 有 效 性 ， 包 括 对 自动 化 备份 “触发 器 ”的 检测 。 
备份 日 志 是 否 准确 、 详 细 。 
备份 过 程 的 安全 性 。 
备份 过 程 对 系统 性 能 的 影响 程度 。 

为 基准 测试 

基准 测试 是 在 标准 配置 的 软 硬 件 以 及 网 络 环境 下 ， 模 拟 一 定数 量 的 虚拟 用 户 完成 一 种 或 多 
种 业务 测试 ， 并 将 测试 结果 作为 基线 数据 。 在 系统 优化 或 系统 评测 的 过 程 中 ， 通 过 运行 相同 业 
务 并 与 基准 测试 结果 进行 比较 ， 可 以 确定 系统 优化 效果 和 是 否 达到 优化 目标 。 在 对 第 一 版 软件 
做 性 能 测试 时 ， 对 于 很 多 具体 的 性 能 指标 还 不 是 很 清楚 ， 此 时 的 性 能 测试 记录 可 以 作为 基准 测 
试 数据 供 后 续 版 本 进行 性 能 改进 。 

每 个 版 本 在 发 布 前 都 必须 进行 基准 测试 ， 在 系统 配置 、 环 境 等 因素 发 生 重大 变更 之 前 与 之 
后 都 应 当 有 基准 测试 ， 目 的 是 创建 性 能 基准 ， 以 便于 判断 任意 一 项 变更 对 系统 性 能 带 来 的 具体 
影响 ， 让 一 般 性 能 测试 数据 更 有 实质 参考 意义 。 例 如 ， 通 过 比较 后 确定 优化 某 一 项 配置 后 能 提 
升 系统 哪 方 面 的 性 能 和 能 提升 多 少 , 系统 某 一 方面 历史 数据 的 增长 与 性 能 响应 的 关系 变化 趋势 ， 
系统 环境 的 变化 对 系统 性 能 的 影响 。 


5.3.2 不 同性 能 测试 类 型 的 区 别 与 联系 


性 能 测试 的 类 型 和 所 包含 的 概念 较 多 ， 测 试 内 容 之 间 具 有 一 定 的 区 别 和 联系 。 在 实际 性 能 
测试 工作 中 ， 一 些 测试 类 型 会 使 用 相同 的 测试 环境 和 测试 工具 来 完成 测试 ， 例 如 负载 测试 、 压 
力 测试 和 容量 测试 都 可 以 使 用 LoadRunner 来 完成 ,所 观察 的 也 主要 都 是 响应 时 间 、 吞 吐 量 、 资 
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源 占用 率 等 系统 性 能 指标 ， 测 试 手段 和 方法 具有 一 定 的 类 似 性 ， 因 此 容易 让 人 产生 混淆 。 通 过 
对 比分 析 主 要 性 能 测试 类 型 之 间 的 异同 ， 可 以 加 深 对 性 能 测试 的 理解 ， 避 免 产 生 概念 混淆 。 

各 种 性 能 测试 类 型 的 主要 区 别 是 它们 的 测试 目的 不 同 。 常 规 性 能 测试 主要 是 为 了 获得 系统 
在 正常 软 硬 件 配置 下 的 性 能 表现 , 然后 考查 这 些 性 能 数据 是 否 满足 用 户 所 期 望 的 各 项 性 能 指标 
保证 系统 在 常规 运行 状态 下 的 正确 性 。 因 此 ， 常 规 性 能 测试 更 多 的 是 一 种 性 能 验证 测试 ， 测 试 
前 一 般 需 要 有 明确 的 性 能 指标 和 推荐 的 运行 环境 配置 标准 ,常规 性 能 测试 对 负载 没有 特殊 要 求 
也 不 着 重 去 发 现 系统 深层 次 的 性 能 瓶颈 等 问题 。 

与 常规 性 能 测试 类 似 ， 基 准 测试 也 不 面向 发 现 性 能 缺陷 问题 ， 而 是 为 了 建立 典型 负载 水 平 
下 的 性 能 基准 ， 为 今后 的 系统 变更 、 系 统 调 优 提供 参考 依据 。 测 试 过 程 中 有 可 能 需要 获得 几 种 
典型 负载 下 的 性 能 指标 数据 ， 以 便于 今后 的 综合 对 比 与 分 析 。 

负载 测试 、 压 力 测试 、 容 量 测试 、 稳 定性 测试 和 可 恢复 性 测试 的 目的 都 是 发 现 不 同情 况 下 
系统 中 存在 的 问题 。 稳 定性 测试 是 为 了 发 现 系统 持续 运行 时 可 能 出 现 的 问题 ， 如 内 存 未 正常 回 
收 累 积 到 一 定时 间 后 所 出 现 的 内 存 泄 漏 问题 ， 由 此 确定 系统 无 故障 运行 的 平均 时 间或 概率 。 可 
恢复 性 测试 重点 面向 异常 故障 所 暴露 出 的 系统 容错 性 问题 ， 然 后 通过 改进 预防 、 诊 断 和 恢复 机 
制 来 提高 系统 的 可 靠 性 、 容 错 性 和 健壮 性 。 

负载 测试 更 多 地 应 当 被 看 作 性 能 测试 中 常用 的 一 种 技术 和 方法 ， 因 为 负载 是 影响 系统 性 能 
的 一 种 主要 因素 。 在 众多 的 性 能 测试 类 型 中 ， 都 或 多 或 少 会 使 用 到 负载 测试 技术 。 但 是 不 能 将 
负载 测试 等 同 于 性 能 测试 ， 影 响 系 统 性 能 的 因素 除 负载 外 还 有 很 多 ， 例 如 系统 软 硬 件 配 置 、 网 
络 带宽 和 系统 架构 等 ， 对 于 这 些 性 能 影响 因素 的 测试 也 是 性 能 测试 的 重要 内 容 。 通 常 谈 到 的 负 
载 测试 是 为 了 观察 不 同 负载 变化 情况 下 的 系统 性 能 表现 ， 以 此 发 现 一 般 功 能 测试 不 易 发 现 的 软 
件 缺 陷 和 性 能 问题 。 

压力 测试 可 以 看 作 一 种 特殊 的 、 高 负载 情况 下 的 负载 测试 ， 其 实施 过 程 自然 离 不 开 负 载 测 
试 技术 。 压力 测试 与 普通 负载 测试 最 主要 的 不 同 之 处 在 于 , 压力 测试 是 带 有 破坏 性 目的 的 测试 ， 
是 通过 各 种 方式 想 办 法 使 系统 骨 溃 ， 以 此 发 现 系统 瓶颈 ， 验 证 系统 峰值 负载 下 的 行为 和 性 能 表 
现 ， 评 估 系 统 的 容错 性 和 可 恢复 性 。 此 外 ， 高 负载 压力 下 的 性 能 测试 也 能 够 有 针对 性 地 快速 发 
现 性 能 瓶颈 和 内 存 泄漏 等 问题 。 通 过 负载 测试 和 压力 测试 都 可 以 获得 系统 正常 条 件 下 的 极限 负 
载 或 最 大 容量 。 

容量 测试 是 为 了 获得 软件 系统 实际 可 以 支持 的 容量 值 ， 例 如 最 大 并 发 用 户 数 和 数据 库 记录 
数 等 ， 以 此 确定 软件 系统 在 给 定 的 软 硬 件 条 件 下 的 承载 能 力 或 服务 提供 能 力 。 容 量 测试 与 压力 
测试 的 明显 不 同 是 ， 容 量 测试 关注 系统 能 够 持续 处 理 的 最 大 负载 量 ， 尤 其 是 大 数据 量 处 理 方面 
的 承受 能 力 ， 在 持续 处 理 过 程 中 ， 系 统 的 性 能 指标 仍然 需要 满足 用 户 的 性 能 需求 。 而 破坏 性 压 
力 测试 更 多 关注 的 是 短 时 间 峰 值 情况 下 系统 是 否 仍然 能 够 正常 工作 ， 不 至 于 发 生 功 能 异常 乃至 
崩溃 。 此 外 ， 压 力 测试 有 利于 快速 发 现 系 统 最 薄弱 的 环节 ， 通 过 有 针对 性 地 增强 这 一 环节 可 以 
有 效 提高 系统 的 可 靠 性 ， 而 容量 测试 有 利于 发 现 计算 资源 的 不 足 之 处 ， 通 过 升级 改造 可 以 满足 
系统 对 多 用 户 、 多 任务 和 大 数据 处 理 量 的 要 求 。 

综合 上 述说 明 ， 负 载 测试 、 压 力 测试 和 容量 测试 的 方法 和 手段 很 相似 ， 在 实际 工作 中 可 以 
通过 合理 设计 与 安排 ， 将 它们 交织 在 一 起 进行 以 提高 测试 效率 。 
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5.3.3 ”性 能 测试 的 指标 与 术语 


性 能 测试 中 经 常会 用 到 一 些 性 能 指标 和 术语 ， 它 们 主要 可 以 分 为 资源 指标 和 系统 指标 两 大 
类 ， 图 5-3 显示 的 是 其 中 的 一 些 主要 指标 。 


CPU 使 用 率 NA We 响应 时 间 
丙 在 利用 率 | 一 > < 和 | 量 
资源 指标 | 系统 指标 | < [开发 用 户 数 
[磁盘 IO | 一 > < 厂 事 务 成 功率 
殉 红 通信 速率 | ~ [本 到 率 


5-3 ”性 能 测试 的 指标 与 分 类 


1. 资源 指标 


(1) CPU 使 用 率 

指 用 户 进程 与 系统 进程 所 消耗 的 CPU 百分比 ， 长 时 间 情 况 下 一 般 可 接受 上 限 不 超过 85%。 

(2) 内 存 利 用 率 

内 存 利用 率 =(1 - 空闲 内 存 /总 内 存 大 小 )*100%， 内 存 使 用 率 可 接受 上 限 一 般 为 85%。 

G3) 磁盘 IO 

磁盘 IO 的 数据 传输 速率 和 IO 读 写 的 响应 时 间 都 会 对 软件 运行 效率 产生 影响 , 一 般 使 用 磁 
盘 读 写 操作 所 占用 的 时 间 百 分 比 来 度量 磁盘 IO 性 能 。 通 常 可 以 通过 缓存 的 方式 将 频繁 访问 的 
文件 或 数据 置 于 内 存 中 以 提高 软件 运行 效率 。 

(4) 网 络 通信 速率 

一 般 使 用 Bytes/Sec( 字 节 数 / 秒 ) 来 度量 ， 用 于 判断 网 络 连接 速度 是 否 是 瓶颈 。 


2. 系统 指标 


1) 响应 时 间 

响应 时 间 是 系统 对 用 户 操作 的 反馈 时 间 ， 或 者 说 是 从 客户 端 提交 访问 请 求 到 客户 端 接收 到 
服务 器 响应 所 消耗 的 时 间 。 响 应 时 间 由 客户 端 数 据 处 理 和 发 送 时间 、 网 络 传输 时 间 、 服 务 器 处 
理 时 间 、 服 务 器 端 发 送 数据 时 间 、 客 户 端 接收 数据 和 显示 时 间 构 成 ， 简 单 说 就 是 应 用 程序 处 理 
时 间 加 上 网 络 传输 时 间 。 

如 果 通 过 监视 发 现 响应 时 间 突 然 增 加 ， 则 往往 意味 着 系统 的 一 种 或 多 种 资源 的 占用 率 已 经 
达到 极限 。 获 得 一 项 操作 的 响应 时 间 需 要 测试 和 记录 多 次 响应 时 间 的 数值 ， 然 后 计算 平均 响应 
时 间 。 但 是 一 般 不 直接 计算 平均 值 , 而 是 要 去 掉 极 不 稳定 的 数值 之 后 再 取 均 值 。 比 如 常用 的 “90% 
响应 时 间 ” 指 的 就 是 去 除 10% 不 稳定 的 响应 时 间 之 后 ， 剩 余 90% 稳 定 的 响应 时 间 的 均值 。 

对 于 产品 类 软件 ， 因 为 无 法 控制 用 户 硬件 配置 和 网 络 接 入 方式 ， 因 此 服务 器 端的 响应 时 间 
测试 是 重点 , 例如 对 Web 服务 器 和 数据 库 服务 器 响应 时 间 的 测试 。 可 以 模拟 大 量 并 发 用 户 来 测 
试 服务 器 的 处 理 速 度 和 承载 能 力 。 当然 , 也 应 当 测 试 典型 用 户 配置 下 的 用 户 端 处 理 与 显示 速度 ， 
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通过 算法 优化 、Ajax 技术 等 方法 来 优化 前 端 响 应 时 间 。 一 般 网 站 页 面 的 响应 时 间 遵 从 “2/5/10” 
标准 ， 即 2 秒 以 内 的 响应 时 间 用 户 很 满意 ，5 秒 以 内 可 以 接受 ， 超 过 10 秒 则 用 户 无 法 忍受 。 

2) 吞吐 量 

吞吐 量 是 指 在 单位 时 间 内 系统 所 处 理 的 任务 量 或 数据 量 的 总 和 。 从 业务 角度 看 ， 可 以 用 服 
务 请 求 数 / 秒 、 任 务 数 / 秒 、 页 面 数 / 秒 等 表示 。 例 如 对 一 台 Web 服务 器 来 讲 ， 其 吞吐 量 可 以 看 作 
单位 时 间 内 成 功 处 理 的 页 面 数 或 HITP 请 求 数 。 从 网 络 角度 看 ， 可 以 用 Bytes/Sec 来 衡量 。 业 务 
角度 的 吞吐 量 反映 的 是 软件 程序 、 应 用 服务 器 、 通 信 状 况 等 软件 系统 整体 的 性 能 ， 网 络 角度 的 
吞吐 量 主要 反映 的 是 网 络 基础 设施 、 应 用 服务 器 、 服 务 器 架构 对 系统 处 理性 能 的 影响 。 对 吞吐 
量 的 测试 经 常会 用 到 以 下 两 个 指标 。 

e@ TPS(Transactions Per Second)， 系 统 每 秒 处 理 的 事务 数量 。 事 务 是 指 客户 端 向 服务 器 发 

送 请 求 后 服务 器 做 出 响应 的 过 程 。 客 户 端 在 发 送 请 求 时 开始 计时 ， 收 到 服务 器 响应 后 
结束 计时 ， 以 此 计算 使 用 的 时 间 和 完成 的 事务 数 。 

e QPS(Queries Per Second)， 系 统 每 秒 处 理 的 服务 请 求 数 量 。QPS 一 般 指 一 台 服 务 器 每 秒 
能 够 响应 的 查询 次 数 ， 是 对 特定 的 查询 服务 器 在 规定 时 间 内 所 能 处 理 流量 多 少 的 衡量 
标准 。 

当 系统 没有 遇 到 性 能 瓶颈 时 ， 吞 吐 量 和 并 发 用 户 数 之 间 存在 下 述 关 系 : 
吞吐 量 =( 并 发 虚拟 用 户 的 数量 X 每 个 虚拟 用 户 发 出 的 请 求 数量 )/ 测 试 时 间 (5-1) 

系统 吞吐 量 的 大 小 与 很 多 因素 有 关 ， 例 如 软 硬 件 配 置 、 网 络 状 况 、 软 件 技术 架构 等 。 提 高 
系统 吞吐 量 的 主要 工作 一 般 是 改进 和 提高 软件 的 技术 架构 , 例如 从 Web 服务 器 、 数 据 库 服务 器 、 
前 端 开 发 和 脚本 语言 的 选择 等 方面 进行 改进 。 

3) 并 发 用 户 数 

并 发 用 户 数 是 指 某 一 时 刻 同 时 向 系统 提交 服务 请 求 的 用 户 数 ， 也 就 是 同一 时 刻 与 服务 器 进 
行 交 互 的 在 线 用 户 数 。 为 了 准确 理解 并 发 用 户 数 的 含义 ， 首 先 需要 理解 以 下 几 个 概念 。 

e 在 线 用 户 数 。 某 段 时 间 内 同时 访问 系统 的 用 户 数 ， 这 些 用 户 并 不 一 定 同时 向 系统 提交 
请 求 , 也 不 一 定 执行 相同 的 操作 。 通 常 每 个 在 线 用 户 都 对 应 着 服务 器 的 一 个 会 话 (Session) 
作为 该 用 户 的 标识 。 

e 虚拟 用 户 。 模 拟 真实 用 户 向 服务 器 发 送 请 求 并 接收 响应 的 软件 进程 或 线程 。 

e 思考 时 间 (think time)。 用 户 每 个 操作 后 的 暂停 时 间 , 或 者 叫 操作 之 间 的 间隔 时 间或 休眠 
时 间 。 此 时 间 内 ， 用 户 没有 对 服务 器 产生 运行 压力 。 

从 严格 意义 上 讲 ， 并 发 用 户 是 同时 执行 某 个 操作 的 用 户 ， 或 是 同时 执行 相同 脚本 的 用 户 ， 

他 们 在 同一 时 间 完 成 同一 任务 或 执行 同样 的 操作 。 不 严格 讲 ， 并 发 用 户 同 时 在 线 并 操作 系统 ， 
但 可 以 是 不 同 的 操作 ， 这 种 并 发 情况 更 接近 用 户 实际 使 用 情况 。 

但 需要 注意 的 是 ， 并 发 用 户 数 一 般 不 等 于 在 线 用 户 数 ， 因 为 某 些 在 线 用 户 并 不 总 是 在 进行 
操作 ， 或 者 更 准确 地 说 ， 这 些 在 线 用 户 并 没有 持续 地 与 服务 器 产生 交互 ， 因 而 没有 对 服务 器 产 
生 实际 的 压力 。 由 此 可 以 理解 ， 在 线 用 户 数 总 是 大 于 或 等 于 并 发 用 户 数 ， 在 线 用 户 数 是 整个 系 
统 使 用 时 最 大 可 能 的 并 发 用 户 数 。 当 所 有 在 线 用 户 的 思考 时 间 为 零 时 ， 并 发 用 户 数 等 于 在 线 用 
户 数 。 可 以 根据 某 一 软件 系统 的 特点 和 用 户 使 用 习惯 ， 粗 略 地 将 并 发 用 户 数 估计 为 在 线 用 户 数 
的 某 个 百分比 ， 例 如 5%~20%。 
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在 使 用 工具 进行 性 能 测试 时 ， 一 般 采 用 严格 意义 上 的 并 发 用 户 数 ， 因 为 模拟 多 个 用 户 同 时 
执行 相同 的 测试 脚本 更 容易 实现 。 此 时 的 用 户 实际 上 是 虚拟 用 户 ， 测 试 执行 过 程 中 的 并 发 用 户 
数 可 以 理解 为 生成 的 虚拟 用 户 线程 数 或 与 服务 器 通信 建立 的 连接 数 。 

在 实际 进行 性 能 测试 时 ， 测 试 人 员 一 般 关 心 的 是 业务 并 发 用 户 数 ， 也 就 是 从 用 户 业 务 使 用 
角度 关注 究竟 应 该 设置 多 少 个 并 发 数 比较 合理 。 所 以 为 了 方便 起 见 ， 经 常 直接 将 业务 并 发 用 户 
数 称 为 并 发 用 户 数 。 可 以 首先 通过 下 面 两 个 公式 估算 在 线 用 户 数 ， 然 后 再 根据 计算 结果 估算 并 
发 用 户 数 。 


c=- 中 (5-2) 
7 


C=C+3VC (5-3) 


上 述 两 个 公式 中 , C 是 平均 的 在 线 用 户 数 , n 是 登录 会 话 的 用 户 数 , 工 是 每 个 用 户 登 录 会 话 
的 平均 时 间 长 度 ，7 是 测试 的 时 间 长 度 ，C 是 在 线 用 户 数 峰值 的 估计 值 。 式 (5-3) 假 设 用 户 登录 
会 话 符合 泊 松 分 布 。 

例如 有 一 个 OA 办 公 系 统 , 该 系统 有 3000 个 用 户 , 平均 每 天 大 约 有 400 个 用 户 要 使 用 该 系 
统 。 对 于 一 个 典型 用 户 来 说 ， 一 天 之 内 用 户 从 登录 到 退出 该 系统 的 平均 时 间 为 4 小时， 在 一 天 
时 间 内 ， 用 户 只 在 8 小 时 工作 时 间 内 使 用 该 系统 。 根 据 式 (5-2) 和 式 (5-3) 可 以 得 到 

C=100X 4/8=200 
C~200+3xV200 =242 


4) 事务 成 功率 

单位 时 间 内 系统 可 以 成 功 完成 多 少 个 已 定义 的 事务 ， 在 一 定 程度 上 反映 了 系统 的 正常 处 理 
能 力 。 

5) 超时 错误 率 

主要 指 由 于 超时 导致 失败 的 事务 数 占 总 事务 数 的 比例 。 

6) 点 击 率 

每 秒 内 用 户 向 Web 服务 器 提交 的 HITP 请 求 数 , 点 击 率 是 Web 应 用 特有 的 系统 指标 。Web 
应 用 采用 “请 求 -响应 ”模式 ， 用 户 每 发 出 一 次 申请 ， 服 务 器 就 要 处 理 一 次 ， 所 以 点 击 是 Web 
应 用 能 够 处 理 的 最 小 事务 单位 。 如 果 把 每 次 点 击 定义 为 一 个 事务 ， 点 击 率 和 TPS 就 是 同一 个 概 
念 。 需 要 注意 的 是 ， 这 里 的 点 击 并 非 指 鼠 标的 一 次 单 击 操作 ， 因 为 在 一 次 单 击 操作 中 ， 客 户 端 
可 能 向 服务 器 发 出 多 个 HTTP 请 求 。 


5.3.4 ”性 能 测试 的 需求 与 目的 


确定 性 能 测试 的 需求 是 完成 性 能 测试 的 前 提 ， 理 解 性 能 测试 的 目的 有 助 于 有 针对 性 地 分 析 
性 能 测试 需求 ， 建 立 清晰 和 准确 的 性 能 测试 指标 。 


1. 性 能 测试 的 需 


首先 要 明确 的 是 ， 性 能 测试 主要 应 当 依 据 软件 产品 需求 文档 中 所 明确 规定 的 各 项 性 能 指标 
来 完成 。 只 有 具备 明确 的 尤其 是 可 量化 的 性 能 指标 ， 才 能 保证 性 能 测试 工作 的 顺利 完成 。 对 于 
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需求 文档 中 并 未 指明 的 性 能 测试 要 求 , 需要 测试 工程 师 自己 分 析 被 测 系统 并 确定 性 能 测试 指标 。 
确定 系统 性 能 指标 时 ， 需 要 从 所 有 软件 项 目 参 与 者 的 角度 考虑 问题 ， 分 清 他 们 各 自 关注 的 性 能 
点 是 什么 。 可 以 从 以 下 几 个 方面 获取 性 能 测试 需求 、 确 定性 能 测试 指标 。 
(1) 对 于 软件 产品 经 理 来 讲 ， 主 要 关心 的 是 软件 性 能 要 有 竞争 力 。 因 此 需要 分 析 竞 争 对 手 
的 产品 ， 确 定 更 为 出 色 的 系统 性 能 指标 。 同 时 需要 考虑 软件 开发 与 维护 成 本 ， 合 理 平衡 性 能 与 
成 本 的 关系 。 同 时 需要 注意 ， 如 果 特 定 软件 已 有 国家 或 行业 性 能 标准 ， 则 必须 遵守 这 些 标准 。 
(2) 对 于 软件 产品 市 场 人 员 来 讲 ， 比 较 关 心软 件 的 容量 和 吞吐 量 。 因 为 上 述 指标 决定 了 软 
件 系统 可 以 容纳 的 最 大 并 发 用 户 数 、 所 能 处 理 的 最 大 业务 量 、 能 够 记录 和 处 理 的 最 大 数据 量 。 
(3) 对 于 最 终 用 户 来 讲 ， 最 为 关心 的 是 软件 的 使 用 效率 。 例 如 ， 系 统 的 响应 时 间 、 某 项 功 
能 的 执行 时 间 、 与 系统 建立 连接 的 时 间 以 及 软件 页 面 的 显示 时 间 等 。 软 件 的 使 用 效率 是 用 户 对 
软件 性 能 最 直观 的 体验 ， 用 户 并 不 关心 软件 的 后 台 工 作 。 
ele meni 主要 关注 以 下 需求 : 
应 用 服务 器 和 数据 库 服务 器 的 执行 效率 和 资源 使 用 情况 是 否 合理 。 
系统 软 硬 件 是 否 能 够 方便 地 实现 扩展 以 满足 今后 更 高 的 系统 性 能 要 求 。 
系统 最 多 能 支持 多 少 在 线 用 户 访问 。 
系统 最 大 的 业务 处 理 量 是 多 少 。 
网 络 带宽 是 否 满足 用 户 访问 量 。 
系统 可 能 存在 哪些 性 能 瓶颈 。 
系统 是 否 具 有 完备 的 数据 备份 机 制 。 
系统 出 现 故 障 后 如 何 及 时 处 理 。 
系统 能 否 支持 7x24 小 时 的 连续 业务 访问 。 
(5) 对 于 设计 和 开发 人 员 来 讲 ， 他 们 关注 的 系统 性 能 主要 有 以 下 几 个 方面 : 
e 系统 架构 设计 是 否 合理 ， 例 如 ， 是 集中 式 服务 器 还 是 分 布 式 服务 器 集群 。 
e 数据 库 设计 是 否 合理 ， 例 如 索引 是 否 满足 用 户 增删 改 查 的 响应 时 间 要 求 。 
e 代码 是 否 存在 性 能 方面 的 问题 ， 例 如 主要 算法 的 性 能 是 否 满足 要 求 。 
e 系统 是 否 有 资源 泄漏 问题 。 例 如 ， 程 序 执行 完毕 后 内 存 没有 回收 、 数 据 库 连接 没有 关 
闭 等 。 系 统 持续 运行 一 段 时 间 后 ， 随 着 资源 泄漏 越 来 越 多 ， 系 统 响应 变 慢 甚 至 无 法 正 
常 运行 。 

e 系统 中 是 否 存 在 不 合理 的 线程 同步 和 资源 竞争 问题 。 此 类 问题 容易 引起 线程 死 锁 ， 导 
致 系统 异常 。 

综 上 所 述 ， 性 能 测试 的 需求 和 测试 指标 的 确定 需要 从 所 有 软件 参与 者 的 角度 ， 结 合 软 件 历 
史 数 据 和 经 验 ， 从 软 硬 件 配置 、 系 统 架 构 、 网 络 状况 、 用 户 使 用 负载 等 多 方面 予以 综合 分 析 。 


2. 性 能 测试 的 目的 


性 能 测试 的 目的 主要 包括 以 下 4 个 方面 。 

1) 验证 系统 的 能 力 

系统 的 能 力 一 般 表述 为 : “系统 在 某 种 条 件 A 下 具备 B 性 能 ”。 例如 : “系统 在 100 个 并 
发 用 户 的 情况 下 页 面 响应 时 间 不 大 于 2 秒 ”。 人 性 能 测试 需要 验证 已 定义 的 各 项 系统 能 力 ， 特 点 
是 要 求 在 已 确定 的 、 尽 量 与 用 户 环境 一 致 的 测试 环境 下 进行 ， 需 要 根据 典型 业务 场景 来 设计 测 
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试 方案 与 测试 用 例 。 

2) 识别 软件 系统 的 性 能 缺陷 与 弱点 

通过 负载 测试 、 压 力 测试 和 容量 测试 等 ， 确 定 软件 系统 的 性 能 瓶颈 ， 发 现 资源 泄漏 等 影响 
系统 稳定 性 、 可 靠 性 的 软件 缺陷 。 

3) 对 系统 进行 规划 

验证 系统 的 能 力 测试 的 是 系统 在 某 个 条 件 下 具备 怎样 的 性 能 ， 而 对 系统 进行 规划 体现 的 是 
如 何 使 系统 达到 要 求 的 性 能 指标 ， 测 试 的 目标 是 支持 未 来 用 户 增长 的 需求 。 例 如 ， 如 果 要 以 5 
秒 或 更 少 的 响应 时 间 支 持 2000 个 并 发 用 户 , 需要 多 少 个 服务 器 ? 规划 测试 着 眼 于 未 来 系统 的 性 
能 要 求 ， 是 对 系统 能 力 的 一 种 探索 性 测试 ， 通 过 测试 可 以 了 解 系统 性 能 的 可 扩展 性 。 

4) 系统 性 能 调 优 

性 能 测试 的 结果 给 系统 性 能 调 优 提供 了 依据 ， 通 过 持续 地 改进 系统 的 软 硬 件 ， 使 系统 达到 
最 优 的 性 能 状态 。 调 优 的 对 象 主要 包括 程序 代码 、 数 据 库 、 应 用 服务 器 、 系 统 资源 等 。 


5.3.5 “性 能 测试 的 过 程 


性 能 测试 一 般 包 括 以 下 4 个 阶段 。 

1) 性 能 测试 的 规划 

e 分 析 性 能 测试 需求 。 明 确 性 能 测试 的 目标 和 范围 ， 确 定 测试 对 象 、 性 能 指标 以 及 系统 
要 承受 的 负载 ， 选 择 适当 的 测试 方法 。 

。 规划 性 能 测试 环境 。 测 试 环境 应 尽量 与 用 户 软 硬 件 环境 保持 一 致 ， 应 单独 运行 被 测 软 
件 ， 尽 量 避 免 与 其 他 软件 同时 使 用 。 

e 选择 合适 的 性 能 测试 工具 。 

e 制定 和 评审 性 能 测试 计划 。 

2) 性 能 测试 的 设计 

。 根据 业务 流程 和 功能 确定 主要 性 能 测试 场景 ， 基 于 确定 的 场景 设计 性 能 测试 点 (例如 对 
包含 海量 记录 的 数据 库 表 的 访问 )， 确 定 具 体 测试 数据 。 

e 设计 测试 用 例 。 利 用 性 能 测试 工具 和 程序 语言 开发 性 能 测试 脚本 ， 同 时 确定 测试 用 例 
执行 通过 的 标准 。 

3) 性 能 测试 的 执行 

e 建立 测试 环境 。 

e 建立 负载 模型 ， 确 定 并 发 虚拟 用 户 数 、 用 户 每 次 服务 请 求 的 数据 量 、 负 载 加 载 方式 和 
持续 时 间 、 用 户 思考 时 间 等 测试 参数 。 

。 利用 性 能 测试 工具 执行 测试 用 例 ， 监 视 关 键 性 能 指标 。 

e ”记录 和 收集 测试 结果 数据 。 

测试 结果 的 分 析 

e 根据 对 性 能 指标 的 要 求 分 析 测 试 结果 ， 当 不 满足 要 求 时 ， 找 出 性 能 瓶颈 等 问题 所 在 ， 
进行 系统 调 优 ， 重 新 调整 和 执行 测试 用 例 ， 最 终 得 到 系统 最 佳 配置 。 

e 当 测 试 结果 满足 系统 性 能 需求 时 结束 测试 ， 完 成 对 测试 结果 数据 的 统计 分 析 ， 生 成 性 
能 测试 报告 。 
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5.3.6 ”负载 测试 


软件 系统 的 负载 有 很 多 形式 ， 例 如 用 户 与 系统 的 连接 数 、 用 户 服务 请 求 的 数据 量 、 用 户 上 
传 或 下 载 文件 的 大 小 、 用 户 操作 数据 库 表 的 记录 数 等 。 此 外 ， 用 户 使 用 系统 时 操作 的 频繁 程度 
以 及 所 使 用 的 具体 软件 功能 (例如 ， 是 浏览 网 页 还 是 播放 视频 )， 都 会 对 系统 的 负载 量 产生 影响 。 
系统 负载 越 大 ， 系 统 的 性 能 一 般 降低 得 越 多 。 


1. 系统 性 能 与 负载 的 关系 


负载 测试 的 特点 是 通过 逐步 增加 系统 的 负载 量 ， 检 测 软 件 系统 或 具体 被 测 对 象 在 不 同 负载 
状况 下 所 能 达到 的 能 力 和 性 能 水 平 。 例 如 ， 通 过 增加 并 发 用 户 的 数量 来 检测 系统 响应 时 间 、 香 
吐 量 和 资源 利用 率 等 性 能 指标 的 变化 情况 ， 通 过 增加 文件 大 小 、 数 据 库 记 录 数 等 检测 系统 数据 
处 理 的 能 力 和 效率 。 通 过 逐步 增加 负载 ， 最 终 确 定 在 满足 系统 功能 正确 性 的 前 提 下 ， 系 统 所 能 
承受 的 最 大 负载 量 。 负 载 测试 是 一 种 性 能 测试 方法 和 手段 ， 通 常 在 压力 测试 和 容量 测试 中 被 
采用 。 

图 5-4 显示 了 标准 的 软件 系统 负载 性 能 模型 ， 该 模型 反映 了 系统 负载 与 系统 资源 (如 CPU、 
内 存 等 ) 占 用 率 、 系 统 吞吐 量 和 响应 时 间 这 三 种 常用 性 能 指标 的 关系 ， 分 别 以 三 条 曲线 表示 。 
图 5-4 中 的 横 坐 标 从 左 到 右 表 示 以 并 发 用 户 数 为 代表 的 不 断 增 长 的 系统 负载 量 。 


并 发 用 户 数 (系统 负载 ) 


一 -一 ”资源 占用 率 一 一 系统 吞吐 量 四 响应 时 间 
图 5-4 标准 的 软件 系统 负载 性 能 模型 


从 图 5-4 中 可 以 看 出 ， 随 着 并 发 用 户 数 的 增长 ， 系 统 需要 处 理 和 能 够 处 理 的 任务 越 来 越 多 ， 
因此 资源 占用 率 和 系统 吞吐 量 会 相应 增长 ， 但 是 响应 时 间 变 化 不 大 。 接 下 来 ， 当 并 发 用 户 数 增 
长 到 一 定 程度 后 ， 所 占用 的 系统 资源 达到 饱和 ， 资 源 占 用 率 不 再 上 升 ， 系 统 吞吐 量 的 增长 明显 
放 缓 直到 停止 增长 ， 而 响应 时 间 却 逐渐 延长 。 如 果 并 发 用 户 数 再 继续 增长 ， 系 统 资源 占用 率 将 
继续 维持 在 饱和 状态 ， 但 是 吞吐 量 开始 急速 下 降 ， 响 应 时 间 明 显 变 长 。 

根据 系统 负载 和 性 能 关系 的 上 述 表现 ， 可 以 在 图 5-4 中 划分 三 个 区 域 ， 分 别 是 轻 负载 区 、 
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重负 载 区 和 过 负载 区 。 轻 负载 区 和 重负 载 区 交界 处 的 并 发 用 户 数 被 称 为 “最 佳 并 发 用 户 数 (The 
Optimum Number of Concurrent Users)”, 而 重负 载 区 和 过 负载 区 交界 处 的 并 发 用 户 数 被 称 为 “最 
大 并 发 用 户 数 (The Maximum Number of Concurrent Users)”。 最 佳 并 发 用 户 数 和 最 大 并 发 用 户 数 
可 以 看 作 系统 的 两 个 重要 性 能 拐点 。 

当 系统 的 负载 量 小 于 或 等 于 最 佳 并 发 用 户 数 时 ， 用 户 对 系统 响应 时 间 最 为 满意 ， 用 户 体验 
度 最 好 。 当 负载 量 等 于 最 佳 并 发 用 户 数 时 ， 系 统 的 整体 使 用 效率 最 高 ， 系 统 资源 被 充分 利用 ， 
吞吐 量 的 大 小 也 处 于 合理 程度 。 当 系统 处 于 重负 载 区 时 ， 系 统 仍然 可 以 继续 工作 ， 但 是 响应 时 
间 延 长 ， 用 户 满意 度 开始 降低 。 当 系统 处 于 过 负载 区 时 ， 由 于 用 户 无 法 忍受 超 长 的 响应 时 间 ， 
一 些 用 户 最 终 会 放弃 使 用 系统 。 此 时 ， 由 于 负载 量 超过 一 定 的 阔 值 ， 系 统 会 发 生 过 度 资源 竞争 
并 产生 拥塞 现象 ， 系 统 吞吐 量 也 会 随 之 快速 下 降 ， 一 些 任务 由 于 无 法 获得 计算 资源 而 产生 停滞 
甚至 失败 ， 可 能 给 用 户 业务 处 理 带 来 一 定 的 损失 。 因 此 ， 一 般 应 当 限 制 系统 负载 超过 最 大 并 发 
用 户 数 , 例如 一 些 中 小 型 视频 网 站 会 限制 最 大 在 线 用 户 数 , 保证 已 有 在 线 用 户 观看 视频 的 效果 。 


2. 负载 测试 的 步骤 


负载 测试 的 过 程 一 般 包 括 以 下 步 又。 

1) 确定 用 户 角 色 及 其 使 用 的 关键 业务 

站 在 使 用 者 的 角度 分 析 都 有 哪 几 类 用 户 角色 ， 每 一 种 用 户 的 主要 业务 操作 流程 以 及 涉及 的 
关键 业务 。 对 关键 业务 的 分 析 是 负载 测试 的 重要 环节 ， 也 是 设计 负载 测试 场景 和 用 例 的 基础 。 
例如 对 于 在 线 视频 点 播 系统 来 讲 ， 关 键 业务 就 是 视频 播放 ， 因 为 负载 量 是 影响 网 站 性 能 的 关键 
所 在 。 另 外 对 于 视频 的 搜索 和 浏览 功能 也 可 视 为 关键 业务 ， 因 为 它们 是 用 户 频繁 使 用 的 功能 。 
充值 缴费 等 功能 对 网 站 负载 和 性 能 的 影响 不 大 。 

2) 制定 负载 测试 方案 并 设计 测试 场景 

主要 用 户 对 关键 业务 的 操作 流程 构成 了 负载 测试 的 典型 场景 。 为 了 模拟 测试 典型 场景 下 的 
系统 性 能 ， 需 要 确定 并 发 虚拟 用 户 的 数量 、 负 载 的 加 载 方式 与 持续 时 间 、 用 户 服务 请 求 的 数据 
量 和 频率 等 。 同 时 ， 需 要 确定 监视 和 记录 哪些 系统 性 能 指标 。 

3) 准备 测试 环境 与 测试 工具 

准备 负载 测试 的 软件 、 硬 件 和 网 络 通信 环境 ， 收 集 负载 测试 仿真 数据 。 负 载 测试 一 般 需 要 
借助 性 能 测试 工具 来 完成 ， 通 过 工具 模拟 大 量 并 发 用 户 、 调 整 负载 加 载 模式 以 得 到 不 同 的 性 能 
测试 数据 。 

4) 开发 测试 脚本 

一 般 可 以 通过 测试 工具 录制 关键 业务 的 操作 过 程 ， 经 过 修改 后 形成 测试 脚本 。 

5) 执行 测试 

设置 负载 测试 输入 参数 ， 执 行 测试 脚本 ， 监 视 与 记录 相关 性 能 指标 数据 。 

6) 测试 结果 分 析 

关注 性 能 需求 指标 ， 发 现 系统 性 能 瓶颈 。 测 试 结果 不 满足 测试 要 求 时 ， 及 时 修改 和 补充 测 
试用 例 ， 调 整 测试 环境 和 策略 ， 做 到 全 面 和 准确 地 反映 系统 各 方面 性 能 。 


3. 负载 的 加 载 方式 
负载 测试 中 的 负载 加 载 方式 主要 有 以 下 几 种 ， 可 以 根据 具体 测试 内 容 进 行 选 择 。 
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1) 一 次 性 加 载 

在 测试 时 间 段 内 一 次 性 加 载 一 定数 量 的 虚拟 并 发 用 户 ， 模 拟 用 户 在 某 一 时 间 段 内 集中 使 用 
系统 的 情况 ， 可 以 测试 系统 在 稳定 高 负载 情况 下 的 性 能 表现 。 

2) 递增 加 载 

属于 一 种 均匀 加 载 负载 的 方式 。 每 隔 一 定 的 时 间 增 加 一 定数 量 的 虚拟 用 户 ， 使 并 发 用 户 的 
数量 不 断 增加 。 通 过 这 种 加 载 方式 可 以 发 现 性 能 瓶颈 、 准 确定 位 性 能 拐点 ， 从 而 确定 合理 的 负 
载 区 间 、 负 载 极限 以 及 响应 时 间 和 吞吐 量 的 阔 值 。 

3) 高 低 突变 加 载 

属于 一 种 峰值 交替 加 载 方式 。 负 载 按照 一 定时 间 周 期 交替 出 现 极 高 负载 量 和 极 低 负载 量 ， 
通过 这 种 负载 加 载 方式 便于 发 现 资源 释放 和 内 存 泄漏 方面 的 系统 缺陷 。 

4) 随机 加 载 

负载 量 随 机 动态 变化 ， 用 于 模拟 用 户 使 用 系统 的 实际 情况 ， 测 试 系统 的 常规 性 能 以 及 持续 
运行 情况 下 的 稳定 性 和 可 靠 性 。 


5.3.7 ”压力 测试 


在 正常 负载 条 件 下 ， 软 件 系 统 的 一 些 稳定 性 隐患 、 功 能 和 性 能 隐患 不 易 暴 露出 来 。 压 力 测 
试 就 是 使 系统 承受 异常 负载 ， 检 验 被 测 系统 在 何 种 条 件 下 性 能 变 得 不 可 接受 ， 以 此 快速 发 现 系 
统 在 负载 峰值 、 大 数据 量 长 时 间 处 理 情况 下 的 性 能 表现 ， 找 出 系统 的 性 能 瓶颈 。 异 常 负 载 主要 
包括 以 下 几 种 情况 。 

。 超大 数量 的 在 线 用 户 、 并 发 用 户 ， 或 是 连接 了 企业 应 用 中 最 大 数量 的 客户 端 。 

所 有 在 线 用 户 持续 运行 某 些 相同 的 系统 功能 。 
已 达到 最 大 被 允许 的 数据 库 连接 数 ， 并 且 用 户 同时 产生 多 个 数据 库 事务 。 
异步 数据 采集 的 中 断 频率 远 远 超过 正常 频率 。 

。 短 时 大 数据 量 的 系统 文件 、 磁 盘 、 外 部 设备 输入 输出 。 

压力 测试 可 以 被 看 作 负载 测试 的 一 种 特殊 情况 ， 也 可 以 被 认为 是 采用 了 负载 测试 技术 的 一 
种 高 负载 测试 。 而 所 谓 压力 ， 主 要 反映 系统 的 计算 资源 是 否 已 经 达到 一 定 的 饱和 度 。 因 此 ， 压 
力 测试 一 般 是 在 很 高 的 系统 资源 占用 率 下 进行 的 。 例如 , 测试 时 使 CPU 使 用 率 和 内 存 占用 率 都 
达到 80% 以 上 ， 数 据 库 的 连接 数 和 网 络 带宽 的 占用 率 等 也 可 以 作为 压力 测试 的 依据 。 

压力 测试 包括 稳定 性 压力 测试 和 破坏 性 压力 测试 两 个 方面 。 

稳定 性 压力 测试 需要 使 系统 在 高 负载 情况 下 连续 运行 ， 如 果 系 统 能 够 在 高 压力 的 情况 下 稳 
定 运行 ， 那 么 普通 负载 情况 下 就 能 够 达到 令 用 户 满意 的 稳定 程度 。 内 存 泄漏 等 资源 回收 问题 具 
有 累积 效应 ， 微 小 的 资源 泄漏 问题 只 有 积累 到 一 定 程度 时 系统 相关 问题 才 会 表现 出 来 。 稳 定性 
压力 测试 有 助 于 发 现 上 述 问 题 。 

破坏 性 压力 测试 是 指 模拟 巨大 的 系统 负载 ， 检 验 系 统 在 峰值 使 用 情况 下 是 否 仍然 能 够 正常 
工作 ， 发 现 系统 的 极限 承载 量 ， 避 免 软件 系统 出 现 崩 溃 或 死机 的 极端 情况 。 稳 定性 压力 测试 很 
难 暴露 出 系统 性 能 明显 恶化 的 真实 原因 ， 和 破坏 性 压力 测试 通过 给 系统 不 断 施 压 直至 系统 衣 溃 ， 
可 以 快速 地 将 问题 原因 明显 暴露 出 来 。 此 外 ， 通 过 破坏 性 压力 测试 还 可 以 检验 系统 的 可 恢复 


和 
BE 人。 
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压力 测试 的 最 大 负载 值 可 以 根据 需求 说 明 中 已 定义 的 系统 最 大 容量 来 确定 ， 也 可 以 根据 前 
期 项 目的 实际 运行 经 验 来 估算 ， 例 如 在 正常 负载 值 的 基础 上 再 增加 一 半 至 一 倍 的 负载 。 为 了 重 
现 和 准确 定位 压力 测试 中 出 现 的 问题 , 一 般 需要 在 程序 中 设置 必要 的 跟踪 和 记录 机 制 (例如 程序 
运行 日 志 )。 这 样 就 可 以 方便 地 获知 问题 出 现 的 准确 时 间 , 检查 系统 出 现 问题 时 的 各 种 运行 参数 
和 状况 ， 找 到 造成 系统 崩溃 的 关键 原因 ， 避 免 因 难以 重 现 问 题 给 调试 和 修改 造成 困难 的 情况 
发 生 。 


5.3.8 ”容量 测试 


我 们 先 来 看 一 个 需要 进行 容量 测试 的 典型 例子 。 高 速 公路 收费 系统 需要 从 数据 库 中 统计 年 、 
月 、 日 、 收 费 班次 的 金额 、 收 费 人 员 、 出 入 口 车 道 等 收费 总 体 情 况 ， 给 出 相应 的 统计 报表 。 随 
着 收费 数据 的 高 速 大 量 积 累 ， 数 据 容量 必然 对 数据 库 增删 改 查 的 效率 产生 影响 。 那 么 当 数 据 库 
记录 数 达 到 怎样 的 容量 时 ， 报 表 生成 的 时 间 会 无 法 满足 用 户 要 求 甚至 出 现 问题 ? 例如， 收费 人 
员 每 天 3 个 班次 ， 每 个 班次 工作 8 小 时 ， 当 换班 时 需要 在 规定 的 时 间 内 生成 收费 班次 金额 统计 
表 ， 经 确认 后 才能 完成 正常 交 班 。 同 理 ， 需 要 了 解数 据 库 记 录 数 大 小 在 何 种 范围 内 ， 记 录 一 次 
收费 数据 的 延 时 时 间 不 至 于 对 下 一 车 辆 的 及 时 收费 产生 影响 。 上 述 问题 都 需要 经 过 容量 测试 巴 
以 明确 ， 如 果 发 现 不 满足 需求 的 情况 ， 需 要 调整 数据 库 配 置 ， 改 变 索 引 数量 、 类 型 等 数据 库 设 
计 ， 制 定 更 为 合理 的 数据 转 存 备份 计划 。 

通过 容量 测试 可 以 确定 软件 系统 的 承载 能 力 和 服务 能 力 ， 如 最 大 并 发 用 户 数 和 数据 库 记录 
数 等 ， 基 本 的 要 求 是 系统 在 容量 范围 内 可 以 正常 工作 ， 更 高 的 要 求 是 在 容量 范围 内 系统 的 各 项 
性 能 指标 仍然 能 够 满足 用 户 性 能 需要 ， 不 至 于 对 用 户 的 使 用 效率 产生 影响 。 系 统 在 达到 最 大 容 
量 时 ， 资 源 的 利用 率 已 经 他 和 ， 出 现 饱和 点 。 如 果 超 过 饱和 点 ， 系 统 各 方面 性 能 会 显著 开始 恶 
化 ， 错 误 率 激增 。 容 量 测试 的 目标 是 保证 找 出 系统 饱和 点 并 避免 系统 负载 超过 饱和 点 。 

与 压力 测试 不 同 的 是 ， 容 量 测试 主要 检验 系统 处 理 大 数据 量 的 能 力 ， 往 往 被 用 于 数据 库 测 
试 ， 不 涉及 时 间 。 而 压力 测试 主要 是 使 系统 承受 速度 方面 的 超额 负载 ， 例 如 短 时 间 内 的 高 峰 负 
载 ， 对 系统 稳定 性 的 压力 测试 也 需要 预先 给 出 持续 测试 的 时 间 。 

下 面 给 出 一 些 常见 的 容量 测试 的 测试 点 。 

e 大 数据 量 的 文件 、 数 据 库 读 写 操作 ， 数 据 量 大 到 何 种 程度 接近 系统 处 理 极限 。 

e 对 大 数据 量 执行 操作 ， 是 否 会 发 生 超 时 或 故障 。 
确定 数据 缓冲 区 的 最 大 容量 。 
数据 临时 存储 媒介 的 限定 范围 。 

一 次 性 数据 传输 的 容量 ， 数 据 是 否 会 丢失 。 

Web 应 用 系统 能 够 支持 的 最 大 在 线 用 户 数 、 并 发 用 户 的 最 大 访问 量 。 
电子 商务 网 站 能 承受 的 、 同 时 进行 交易 的 在 线 用 户 数 。 

编译 系统 能 够 处 理 的 最 大 源 程序 量 。 

e 数据 采集 系统 的 最 大 采样 频率 。 

通过 容量 测试 可 以 使 开发 方 和 用 户 清楚 地 了 解 系统 的 最 大 容量 ， 避 免 执行 大 数据 量 处 理 时 
系统 失效 、 数 据 丢 失 、 性 能 不 满足 用 户 要 求 等 情况 的 出 现 ， 增 强 软 件 开 发 方 和 用 户 对 软件 产品 
的 信心 ， 同 时 也 可 以 帮助 开发 方 寻求 新 的 技术 解决 方案 和 系统 升级 改造 方案 ， 帮 助 用 户 经 济 地 
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规划 应 用 系统 ， 优 化 系统 的 配置 与 部 署 。 


兼容 性 测试 


兼容 性 测试 验证 软件 在 不 同 的 硬件 平台 、 软 件 平台 、 网 络 环境 中 能 否 正 常 工作 ， 以 及 验证 
软件 不 同 版 本 之 间 、 不 同 软件 之 间 是 否 能 够 正确 地 交互 和 共享 信息 。 概 况 来 讲 ， 兼 容 性 测试 包 
括 硬件 兼容 性 测试 、 软 件 兼容 性 测试 和 数据 兼容 性 测试 三 个 方面 。 


5.4.1 硬件 兼容 性 测试 


有 一 个 例子 可 以 说 明 硬件 兼容 性 测试 的 重要 性 。1994 年 圣诞 节 前 夕 ， 迪士尼 发 布 了 一 款 儿 
童 游戏 “狮子 王 童话 ”， 大 量 家 长 购买 该 款 游戏 作为 给 孩子 的 圣诞 礼物 。 但 是 迪士尼 公司 从 圣 
诞 节 第 一 天 开始 就 不 断 地 接 到 孩子 们 的 哭诉 和 家 长 们 的 愤怒 指责 ， 因 为 很 多 人 总 是 不 能 成 功 地 
安装 游戏 。 最 后 找到 的 原因 是 ， 产 品 发 布 前 没有 对 各 种 PC 机 型 进行 完整 的 兼容 性 测试 ， 只 在 
少数 PC 机 型 上 进行 了 相关 测试 。 
不 同 的 硬件 配置 会 影响 软件 的 性 能 ， 甚 至 导致 软件 运行 结果 不 同 或 根本 不 能 工作 。 硬 件 兼 
容 性 测试 也 就 是 硬件 配置 测试 ， 主 要 包括 以 下 几 个 方面 。 
。 整 机 兼容 性 测试 。 验 证 软件 在 最 低 配 置 和 推荐 配置 下 功能 和 性 能 的 正确 性 与 合理 性 ， 
以 及 验证 软件 系统 在 多 种 硬件 配置 环境 下 的 功能 和 性 能 表现 是 否 满足 需求 。 
e 外 部 设备 兼容 性 测试 。 通 过 检查 硬件 驱动 程序 、 板 卡 、 硬 件 接口 类 型 等 ， 确 保 软件 可 
以 适用 于 各 种 主流 外 部 设备 。 
硬件 兼容 性 测试 应 当 检查 出 软件 对 硬件 环境 有 无 特殊 要 求 ， 软 件 和 硬件 配合 后 能 否 发 挥 应 
有 的 效率 。 另 外 需要 注意 的 是 ， 兼 容 性 测试 不 同 于 配置 测试 。 配 置 测 试 的 对 象 是 硬件 ， 而 兼容 
性 测试 主要 测试 的 是 软件 兼容 性 ， 硬 件 兼容 性 只 是 测试 内 容 之 一 。 


5.4.2 ”软件 兼容 性 测试 


软件 兼容 性 测试 是 兼容 性 测试 的 主要 内 容 ， 其 中 又 包括 以 下 一 些 测试 内 容 。 

1) 操作 系统 /平台 的 兼容 

并 不 是 所 有 的 软件 都 具有 平台 无 关 性 ， 因 此 需要 测试 软件 与 Windows、Linux、UNIX 等 操 
作 系 统 的 兼容 性 ， 以 及 与 2JEE、.NET 平台 的 兼容 性 。 由 于 操作 系统 和 平台 软件 的 版 本 众多 ， 
因此 测试 时 一 般 在 考虑 操作 系统 普及 程度 的 情况 下 加 以 取舍 。 

2) 软件 之 间 的 兼容 

不 同 软件 之 间 也 存在 着 兼容 性 问题 , 需要 测试 软件 与 驱动 程序 等 第 三 方 支撑 软件 的 兼容 性 。 
此 外 , 还 需要 考虑 Web 服务 器 、 应 用 服务 器 和 数据 库 服务 器 软件 的 兼容 性 , 例如 测试 Linux 8.0、 
WebSphere 4.0 和 Oracle 10i 之 间 是 否 能 够 兼容 配合 ， 又 例如 测试 同一 个 数据 库 系统 是 否 能 够 同 
时 支持 几 个 不 同 版 本 的 软件 。 

3) 数据 库 的 兼容 

测试 软件 对 Oracle、MySQL、SQL Server 等 数据 库 的 支持 能 力 ， 如 果 改 变数 据 库 软件 ， 被 


152 


第 5 章 功能 测试 与 非 功能 测试 _ 


测 软 件 是 否 可 以 直接 运行 ? 是 否 需要 大 量 修改 程序 或 者 提供 必要 的 转换 工具 ? 还 需要 测试 新 版 
软件 系统 的 数据 库 是 否 能 够 兼容 以 前 版 本 数据 库 中 的 数据 ， 这 就 要 求 软件 升级 时 不 能 轻易 删除 
和 改变 数据 库 中 的 表 和 字段 ， 在 设计 数据 库 时 要 有 一 些 保留 字段 ， 以 便于 后 续 版 本 中 对 数据 库 
进行 扩展 。 

4) 不 同 浏览 器 的 兼容 

Web 应 用 中 ， 软 件 与 客户 端 浏 览 器 的 兼容 性 是 测试 的 重点 。 不 同 厂家 的 浏览 器 对 Java、 
JavaScript、ActiveX、Plug-Ins 和 HIML 规格 的 支持 各 不 相同 ,造成 网 页 在 不 同 浏览 器 中 的 表现 
不 一 样 ， 甚 至 在 某 些 浏览 器 中 无 法 正常 显示 和 操作 。 由 于 浏览 器 产品 数量 众多 ， 同 一 种 浏览 器 
的 版 本 不 断 升 级 , 浏览 器 和 客户 端 操作 系统 的 组 合 数量 庞大 。 因此, 测试 时 一 般 按照 类 似 表 5-8 
的 客户 端 配置 兼容 性 矩阵 ， 重 点 选择 用 户 最 常见 的 配置 组 合 进行 测试 。 


表 5-8 Web 客户 端 配置 


确保 软件 在 各 种 主流 浏览 器 的 各 个 版 本 中 都 能 正常 工作 是 件 很 费时 的 事情 ， 幸 运 的 是 有 很 
多 优秀 的 工具 可 以 帮助 测试 浏览 器 的 兼容 性 。 例 如 ， 如 图 5-5 所 示 的 SuperPreview 是 微软 的 网 
页 开发 调试 工具 , 可 以 同时 查看 网 页 在 多 个 浏览 器 中 的 显示 情况 , 对 页 面 排版 进行 直观 的 比较 。 


es 


图 5-5 浏览 器 兼容 性 测试 工具 SuperPreview 


5) 显示 分 辩 率 的 兼容 

软件 对 计算 机 显示 分 辨 率 的 兼容 是 很 重要 的 ， 因 为 无 法 确定 用 户 采用 何 种 分 辨 率 ， 但 是 可 
以 通过 调整 软件 使 其 适应 用 户 设 定 的 各 种 分 辨 率 。 

如 果 在 软件 需求 规格 说 明 书 中 已 经 规定 了 一 些 建议 的 软件 分 辨 率 ， 测 试 时 可 以 针对 这 些 推 
荐 的 分 辩 率 进行 测试 。 常 见 的 分 辩 率 包括 1024X768、1280X1024、1440X900 等 ， 需 要 保证 
软件 在 常用 分 辩 率 下 页 面 显 示 完 整 、 无 界面 变形 与 遮挡 、 数 据 显示 齐全 、 字 体 大 小 符合 要 求 。 
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对 于 没有 明确 推荐 的 非 主 流 分 辨 率 ， 也 需要 在 测试 完 主 流 分 辩 率 的 前 提 下 ， 尽 可 能 多 做 一 些 分 
辩 率 兼容 性 测试 ， 尽 量 提升 大 多 数 用 户 的 感受 。 

6) 软件 不 同 版 本 之 间 的 兼容 

同一 软件 具有 不 同 的 版 本 ， 新 版 本 的 软件 是 否 能 够 使 用 早期 版 本 编辑 的 文件 ? 新 版 本 中 新 
出 现 的 功能 是 否 能 被 早期 生成 的 文件 使 用 ? 这 些 都 属于 版 本 兼容 性 测试 的 内 容 。 如 果 被 测 软件 
本 身 就 是 平台 软件 ， 那 么 需要 测试 原始 平台 上 的 软件 在 该 平台 软件 上 是 否 仍然 能 够 正常 运行 。 
例如 Windows 的 很 多 版 本 中 仍然 保留 了 对 早期 DOS 程序 的 支持 ， 在 Windows 桌面 的 “开始 ” 
| “运行 ”中 输入 cmd 指令 就 可 以 看 到 老式 的 控制 台 界 面 。 

测试 软件 版 本 兼容 性 问题 时 ， 需 要 考虑 版 本 向 前 或 向 后 兼容 的 问题 。 

e ”向 后 兼容 是 指 新 版 本 的 软件 可 以 使 用 以 前 旧版 本 软件 产生 的 数据 。 

。 向 前 兼容 是 指 设计 和 开发 新 版 本 软件 时 ， 考 虑 对 后 续 版 本 软件 数据 的 兼容 。 

显然 ， 软 件 的 向 后 兼容 是 必需 的 ， 否 则 用 户 前 期 的 数据 将 无 法 被 利用 。 向 前 兼容 不 是 强制 
性 要 求 ， 如 果 已 经 预先 规划 了 后 续 版 本 的 一 些 新 的 数据 格式 ， 则 可 以 在 当前 版 本 软件 中 提前 予 
以 支持 。XML 的 广泛 使 用 很 大 程度 上 解决 了 程序 间 数 据 的 兼容 性 问题 ， 它 提供 了 一 种 统一 的 
方法 来 描述 和 交换 独立 于 程序 和 供应 商 的 结构 化 数据 ， 支 持 跨 平台 的 信息 交互 ， 同 时 也 是 处 理 
分 布 式 结构 化 信息 的 有 效 工 具 。 


5.4.3 ”数据 兼容 性 测试 


数据 兼容 性 是 指 软件 对 不 同 数据 格式 是 否 能 够 兼容 ， 不 同 软件 之 间 能 和 否 正确 地 交互 和 共享 
信息 。 测 试 内 容 一 般 包 括 以 下 一 些 方面 。 
e 测试 软件 对 不 同 格式 的 数据 是 否 都 能 正常 操作 和 显示 ， 例 如 BMP、JPEG、GIF 等 不 同 
格式 的 图 像 文件 ， 以 及 不 同 格式 的 音频 和 视频 文件 等 。 
与 其 他 软件 之 间 复 制 和 粘贴 文字 是 否 正确 。 
旧版 本 的 数据 在 新 版 本 软件 中 是 否 能 够 打开 。 
新 版 本 的 文件 是 否 能 在 旧版 本 软件 中 打开 。 
与 同类 型 软件 或 相关 第 三 方 软件 之 间 是 否 可 以 进行 数据 交换 或 数据 共享 。 
数据 存储 格式 是 否 符合 标准 。 
信息 是 否 能 以 XML 等 标准 的 方式 进行 交互 。 
系统 是 否 能 够 实现 对 规定 格式 数据 的 导入 和 导出 。 


SEEI 其 他 测试 


5.5.1 安装 与 卸载 测试 


安装 是 用 户 使 用 软件 的 第 一 步 ， 软 件 的 安装 方式 多 种 多 样 ， 除 了 常见 的 客户 端 软件 安装 、 
软件 升级 、 程 序 打 补 丁 、 程 序 插件 安装 外 ， 还 包括 更 为 复杂 的 软件 系统 部 署 。 
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用 户 大 多 是 非 计算 机 专业 人 士 ,因此 需要 通过 测试 保证 安装 和 印 载 过 程 的 正确 性 和 灵活 性 。 
安装 和 务 载 测试 看 似 简单 ， 因 此 很 容易 被 忽视 ， 但 是 实际 上 包含 很 多 非常 细致 的 测试 内 容 ， 需 
要 注意 以 下 几 个 方面 。 

e 安装 操作 过 程 与 用 户 安装 手册 中 的 内 容 一 致 ， 在 安装 说 明 中 明确 给 出 了 对 安装 环境 的 

限制 和 要 求 ， 例 如 给 出 最 低 配 置 和 推荐 配置 。 
e ， 安装 过 程 具有 很 强 的 用 户 引导 性 ， 便 于 理解 和 掌握 ， 尽 量 屏 蔽 复杂 的 技术 信息 与 操作 ， 
尽 可 能 实现 安装 过 程 的 自动 化 ， 能 够 使 用 户 简单 、 正 确 地 完成 系统 配置 。 

e ， 除 提供 典型 安装 外 ， 还 支持 自 定义 的 灵活 安装 ， 如 选择 和 改变 安装 目录 ， 支 持 熟练 用 
户 的 各 种 高 级 安装 选项 。 能 够 自动 判断 安装 过 程 中 可 能 出 现 的 问题 ， 给 出 明确 的 提示 
信息 。 安 装 过 程 中 可 以 终止 并 且 恢复 现场 。 

e 纯 载 测试 要 保证 系统 能 够 恢复 到 未 安装 软件 之 前 的 状态 ， 相 应 的 注册 表 项 、 目 录 、 文 

件 和 快捷 方式 都 被 清除 ， 软 件 卸 载 后 不 影响 其 他 软件 的 使 用 。 
表 5-9 是 较为 通用 的 安装 与 卸载 测试 检查 表 ， 可 以 在 实际 工作 中 予以 参考 。 


表 5.9 安装 与 卸载 测试 检查 表 
种 类 检查 项 检查 内 容 
包含 正规 的 最 终 用 户 许可 协议 、 商 标 、 公 司 标识 
软件 序列 号 的 有 效 性 
初次 正常 安装 | 典型 安装 、 完 全 安装 、 最 小 安装 、 自 定义 安装 的 分 类 安装 是 否 有 效 
安装 导航 的 步骤 及 其 各 个 界面 正确 ， 安 装 过 程 是 否 可 回 洲 
笔记 本 电脑 软件 安装 
软件 升级 、 补 丁 程序 、 程 序 插件 、 修 复 性 安装 的 正确 性 


取消 安装 ， 是 否 可 以 停止 并 退出 安装 程序 ， 系 统 恢复 原状 
安装 测试 在 一 台 机 器 上 重复 安装 软件 ， 系 统 是 否 能 提示 
突然 中 断 安装 过 程 (如 关机 、 断 网 、 断 电 )， 下 次 安装 时 能 否 继 续 上 次 的 安装 
异常 安装 过 程 
能 否 同时 安装 软件 的 多 个 版 本 


安装 时 磁盘 空间 不 足 
安装 目录 、 文 件 、 注 册 表 、 开 始 菜单 、 快 捷 方 式 、 软 件 配 置 项 正确 
安装 后 检查 软件 可 以 正常 打开 和 使 用 


试用 版 软件 的 限制 措施 是 否 生效 
完全 卸载 程序 文件 、 注 册 表 等 软件 信息 能 否 完全 被 删除 ， 不 影响 其 他 软件 
部 分 卸载 选择 部 分 软件 进行 卸载 ， 是 否 能 够 卸载 成 功 
卸载 测试 | 卸载 方式 软件 自 带 的 卸载 程序 、 控 制 面板 卸载 等 卸载 方式 的 正确 性 
异常 印 载 突然 中 断 卸 载 过 程 ， 下 次 卸载 能 否 继续 上 次 的 卸载 过 程 
卸载 正在 使 用 的 软件 


5.5.2 ”安全 性 测试 
安全 性 测试 是 针对 软件 安全 性 需求 和 设计 的 验证 和 确认 活动 。 软 件 系统 安全 的 重要 性 不 言 
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而 喻 ， 在 软件 需要 分 析 和 设计 时 就 应 当 予 以 重点 考虑 。 即 使 对 于 需求 中 没有 明确 说 明 的 安全 性 
问题 ， 也 应 当 在 测试 过 程 中 进行 充分 考虑 ， 尽 可 能 发 现 系统 潜在 的 安全 隐患 。 

ISO 8402 将 安全 性 定义 为 “使 伤害 或 损坏 的 风险 控制 在 可 接受 的 水 平 ”。 系 统 安全 与 非法 
攻击 是 矛盾 的 关系 ， 理 论 上 不 存在 完全 安全 的 软件 系统 。 一 般 所 说 的 “软件 系统 是 安全 的 ”是 
指 ， 攻 破 一 个 系统 的 代价 要 远 远 高 于 攻破 该 系统 后 获得 的 利益 ， 或 者 说 在 现 有 条 件 下 攻破 一 个 
系统 时 由 于 时 间 消 耗 过 长 (例如 破解 密码 需要 一 百年 ) 变 得 实际 不 可 行 。 

安全 性 测试 的 目标 是 测试 软件 系统 的 安全 机 制 ， 保 证 系统 运行 和 使 用 的 安全 性 ， 侧 重 于 对 
用 户 数据 、 软 件 使 用 权限 和 数据 通信 传输 安全 性 的 测试 。 在 安全 性 测试 中 ， 测 试 人 员 需 要 设计 
各 种 攻击 系统 安全 保密 措施 的 测试 用 例 。 安 全 性 测试 可 以 分 为 以 下 两 个 层次 。 

e 系统 级 别 的 安全 性 。 确 保 系统 访问 控制 权限 的 正确 性 和 有 效 性 ， 保 证 授权 用 户 才能 使 

用 系统 和 应 用 程序 。 
e ”应 用 程序 级 别 的 安全 性 。 确 保 用 户 使 用 权限 的 合理 划分 ， 特 定 用 户 只 能 使 用 授权 范围 
内 的 系统 功能 和 数据 。 

安全 性 测试 一 般 采 用 静态 分 析 和 功能 测试 相 结 合 的 方法 去 发 现 软件 安全 漏洞 ， 测 试 时 重点 
考虑 以 下 问题 。 

e 网 络 安全 。 

e 系统 软件 安全 。 
客户 端 应 用 软件 安全 。 
服务 器 端 软件 系统 安全 。 
客户 端 到 服务 器 端 通信 安全 。 
文件 与 数据 的 完整 性 检查 。 

表 5-10 是 通用 的 安全 性 测试 检查 表 ， 可 以 在 实际 工作 中 予以 参考 。 


表 5-10 安全 性 测试 检查 表 

检查 项 检查 内 容 
系统 具有 不 同 的 用 户 使 用 权限 
用 户 权限 可 以 进行 灵活 设置 和 更 改 
用 户 登录 密码 是 否 可 见 ， 是 否 具有 密码 安全 强度 校 验 
是 否 可 以 通过 绝对 路 径 进入 系统 ， 例 如 通过 复制 登录 后 的 链接 直接 进入 系统 
用 户 认证 是 否 可 以 使 用 后 退 键 而 不 通过 输入 口令 进入 系统 
用 户 注销 退出 系统 后 ， 是 否 删除 了 其 所 有 权限 标记 并 回 到 起 始 登录 界面 
禁止 以 同一 用 户 名 和 密码 在 多 个 终端 上 同时 登录 访问 系统 
用 户 登 录 后 ， 只 能 获得 其 授权 范围 内 的 功能 和 数据 
是 否 有 超时 限制 ， 超 时 后 软件 自动 回 到 登录 界面 
关键 信息 是 否 采 用 加 密 技术 
远程 服务 的 安全 控制 
文件 完整 性 检查 
重要 系统 和 操作 信息 是 否 写 进 了 日 志 ， 能 否 有 效 追踪 


应 用 安全 
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( 续 表 ) 
检查 项 检查 内 容 
有 线 和 无 线 的 物理 连接 是 否 安全 
是 否 安装 了 合适 的 防火 墙 、 防 病毒 软件 、 补 丁 程序 
网 络 安全 重要 传输 信息 是 否 已 加 密 ， 可 正确 解密 接收 到 的 信息 
利用 网 络 漏洞 检查 工具 扫描 网 络 
模拟 各 类 非法 攻击 ， 检 查 系统 防护 措施 的 牢固 性 
检查 系统 数据 的 独立 性 、 机 密 性 和 完整 性 
检查 系统 数据 备份 和 可 恢复 能 力 
操作 系统 、 数 据 库 、 中 间 件 等 系统 软件 是 否 为 开源 或 免费 软件 ， 是 否 匹配 安全 需求 
是 否 能 够 及 时 获得 系统 软件 安全 性 方面 的 补丁 


数据 库 安全 


系统 软件 安全 


5.5.3 ”容错 性 测试 


容错 性 测试 (Fault Tolerance Testing) 检 查 软件 系统 在 异常 条 件 下 是 否 具有 保护 性 措施 或 故 
障 恢复 能 力 。 容 错 性 好 的 系统 能 够 正确 校 验 用 户 的 错误 操作 ， 给 出 明确 的 提示 与 引导 ， 并 且 能 
够 在 系统 出 现 故 障 的 情况 下 恢复 系统 。 因 此 ， 容 错 性 测试 包含 以 下 两 个 方面 的 测试 内 容 。 

(1) 测试 异常 输入 数据 或 异常 操作 时 ， 系 统 是 否 能 够 给 出 提示 或 内 部 消化 而 不 引发 错误 ， 
检验 系统 的 自我 保护 能 力 ， 测 试 的 是 软件 功能 层次 的 容错 性 。 

(2) 测试 系统 故障 或 灾难 后 的 可 恢复 性 ， 检 验 的 是 软件 系统 整体 层次 的 容错 性 。 

上 述 第 二 个 方面 的 内 容 也 就 是 可 恢复 性 测试 , 在 本 章 前 面 已 经 进行 了 介绍 , 这 里 不 再 奖 述 。 
不 同 于 可 恢复 性 测试 的 是 ， 容 错 性 测试 还 包括 上 述 第 一 个 方面 的 负面 测试 内 容 。 负 面 测试 也 称 
为 例外 测试 ， 是 根据 测试 人 员 的 经 验 ， 从 用 户 非 正常 使 用 软件 的 角度 测试 可 能 的 非法 输入 数据 
或 异常 操作 。 黑 盒 测 试 等 价 类 划分 法 中 的 无 效 等 价 类 就 是 一 种 典型 的 负面 测试 ， 用 于 验证 无 效 
输入 数据 情况 下 程序 的 容错 处 理 能 力 。 

对 于 非法 数据 和 操作 的 校 验 往往 是 软件 输入 界面 程序 代码 的 主要 内 容 ， 有 时 校 验 代码 量 其 
至 高 达 70%。 由 于 校 验 项 目 越 多 、 越 细致 ， 代 码 开发 与 测试 的 开销 越 大 ， 有 时 也 会 对 性 能 产生 
一 定 的 影响 (例如 嵌入 式 软件 的 容错 性 数据 校 验 )， 因 此 在 设计 软件 时 就 需要 考虑 容错 性 、 性 能 
和 成 本 之 间 的 平衡 问题 ,下 面 列举 了 一 些 在 进行 容错 性 测试 时 一 般 需 要 考虑 的 负面 测试 的 例子 。 

e 数据 格式 校 验 。 对 身份 证 、 邮 政 编码 、 邮 箱 、 电 话 等 数据 格式 的 正确 性 进行 校 验 。 对 

日 期 等 数据 系统 往往 有 允许 接受 的 格式 要 求 ， 通 过 校 验 避 免 非法 格式 输入 。 

e 数据 类 型 校 验 。 例 如 在 日 期 等 数据 类 型 字段 中 输入 字母 等 ， 因 此 对 有 限 条 目的 数据 尽 
量 采用 下 拉 列 表 方式 输入 数据 。 
输入 域 空白 或 只 输入 空格 。 
对 文字 输入 域 中 已 输入 文字 长 度 的 校 验 。 
对 起 始 和 终止 时 间 合 法 性 的 校 验 。 起 始 时 间 在 终止 时 间 之 前 ， 时 间 长 度 符合 规定 。 
对 特殊 字符 的 校 验 。 输 入 数据 中 包含 %、’、/、\、#、 及 、*、>、< 等 特殊 字符 时 ， 是 否 
会 引发 系统 错误 ， 是 否 能 够 进行 有 效 的 字符 过 滤 。 
e 上 载 的 文件 类 型 和 大 小 是 否 符合 要 求 ， 比 如 可 接受 的 图 像 格式 、 文 件 类 型 和 大 小 。 
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e 系统 无 法 支持 的 操作 。 例 如 未 安装 打印 机 时 的 打印 操作 ， 磁 盘 空 间 不 足 时 的 存储 操作 
等 ， 是 否 有 相应 的 提示 信息 。 

e 异常 条 件 下 的 操作 。 例 如 网 络 状态 不 佳 或 断 网 情况 下 与 信息 传输 相关 的 操作 ， 是 否 有 
相应 的 提示 信息 。 


区 JJ Web 测试 


本 章 前 面 已 经 对 功能 测试 和 非 功 能 测试 进行 了 详细 的 介绍 ， 为 了 便于 综合 理解 ， 本 节 以 
Web 测试 为 例 ， 从 功能 、 性 能 、 可 用 性 、 兼 容 性 、 安 全 性 等 主要 方面 说 明 如 何 对 常见 的 Web 
应 用 系统 进行 功能 与 非 功能 测试 。 


1. 功能 测试 


Web 测试 中 的 功能 测试 主要 包括 以 下 几 个 方面 。 

(D UI 测试 ， 包 括 如 下 : 

e 整体 界面 测试 。 检 查 整 个 Web 应 用 系统 页 面 结构 的 合理 性 、 设 计 风 格 的 一 致 性 ， 使 用 

户 感觉 舒适 ， 并 且 能 够 很 自然 地 去 使 用 该 系统 。 

e 导航 测试 。 导 航 一 般 位 于 页 面 项 部 或 左边 区 域 ， 引 导 用 户 使 用 网 站 主要 功能 。 导 航 要 

直观 易 用 、 帮 助 信息 准确 、 风 格 一 致 ， 必 要 时 提供 站 点 地 图 和 站 内 搜索 功能 。 

e 图 形 测试 。 保 证 页 面 背景 、 颜 色 、 字 体 、 图 片 、 动 画 和 按钮 等 图 形 界面 元 素 风格 统一 、 

格式 一 致 、 用 途 明确 。 

e 内 容 测 试 。 检 验 页 面 内 容 信 息 的 正确 性 、 准 确 性 ， 能 根据 当前 内 容 找 到 相关 内 容 。 

(2) 链接 测试 。 链 接 是 Web 页 面 间 的 主要 接口 形式 ， 主 要 检查 链接 指向 正确 页 面 、 所 链接 
的 页 面 存在 、 不 存在 没有 任何 链接 指向 的 孤立 页 面 。Web 应 用 中 链接 数量 众多 ， 可 以 通过 工具 
自动 完成 链接 测试 。 链 接 测 试 一 般 在 集成 测试 阶段 完成 。 

(3) 表单 测试 。 表 单 是 一 些 需要 在 线 填 写 和 显示 的 表格 ， 需 要 检查 提交 到 服务 器 的 表单 信 
息 的 正确 性 和 规范 性 ， 例 如 检查 对 日 期 、 时 间 、 身 份 证 号 码 等 信息 是 否 有 规范 化 校 验 ， 默 认 表 
单 信息 是 否 正确 等 。 

(4) 文件 上 传 。 检 查 是 否 弹出 选择 上 传 文件 的 对 话 框 ， 是 否 能 禁止 超出 大 小 要 求 和 格式 要 
求 的 文件 上 传 ， 是 否 能 删除 上 传 文件 后 再 次 上 传 ， 当 重复 上 传 时 是 否 给 予 提 示 ， 以 及 是 否 可 以 
预览 上 传 后 的 文件 。 

(5) 分 页 功能 。“ 首 页 ”“ 上 一 页 ”“ 下 一 页 ”“ 尾 页 ”标签 在 没有 数据 时 全 部 置 灰 ; 首 
页 时 “上 一 页 ”标签 置 灰 ， 尾 页 时 “下 一 页 ”标签 置 灰 ， 中 间 页 时 四 个 标签 均 可 单 击 且 跳 转正 
确 ; 总 页 数 与 当前 页 数 显 示 正 确 ， 能 够 正确 跳 转 到 指定 的 页 码 ， 在 指定 跳 转 页 数 时 输入 非法 字 
符 或 数字 ， 是 否 有 提示 信息 。 

(6) Cookie 测试 。Cookie 用 于 在 用 户 端 存储 个 性 化 用 户 信息 ， 需 要 测试 Cookie 是 否 能 正常 
工作 、 是 否 能 按 预 定 的 时 间 进 行 保存 以 及 刷新 页 面 对 Cookie 的 影响 。 

(7) 业务 流程 测试 。 保 证 单个 模块 功能 的 正确 性 ， 对 各 模块 间 传递 的 数据 进行 测试 ， 保 证 
参数 格式 和 内 容 正 确 。 
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(8) 接口 测试 ， 包 括 如 下 : 
e 内 部 接口 测试 。 测 试 浏览 器 、Web 服务 器 和 数据 库 服 务 器 之 间 的 接口 ， 测 试 人 员 在 浏 
览 器 端 提交 事务 ， 在 服务 器 端 查看 数据 库 ， 确 认 事 务 数据 已 经 正确 保存 。 
e 外 部 接口 测试 。Web 站 点 在 很 多 情况 下 并 不 是 孤立 的 ， 可 能 会 跟 外 部 服务 器 通信 并 请 
求 数据 ， 例 如 信用 卡 信息 的 验证 。 需 要 测试 外 部 网 关 接 口 的 正确 性 。 
(9) 设计 语言 测试 。 测 试 Web 开发 语言 、 脚 本 语言 版 本 是 否 规范 统一 。 不 同 语言 版 本 的 差 
异 可 能 会 造成 严重 的 问题 ,尤其 在 分 布 式 、 并 行 开发 的 情况 下 问题 会 更 为 严重 。 除了 HTML 语 
言 的 版 本 问题 外 ， 用 不 同 的 脚本 语言 (如 Java、JavaScript、VBScript、Perl 等 ) 开 发 的 应 用 程序 也 
要 在 不 同 的 版 本 上 进行 验证 。 
(10) 数据 库 测试 。 需要 测试 数据 库 连 接 是 否 正 确 ， 是 否 在 使 用 后 及 时 关闭 了 数据 库 连接 ， 
是 否 会 发 生 数据 的 一 致 性 错误 和 数据 输出 错误 。 提 交 的 表单 信息 不 正确 或 是 程序 中 对 数据 库 的 
主要 操作 没有 使 用 事务 机 制 ， 都 会 造成 数据 的 不 一 致 性 错误 。 程 序 设计 和 网 络 速度 等 问题 会 引 
起 数据 输出 错误 。 


2. 性 能 测试 


Web 测试 中 的 性 能 测试 主要 包括 以 下 内 容 。 

(1) 页 面 响应 时 间 测试 。 页 面 响应 时 间 测 试 的 目的 就 是 要 保证 Web 站 点 在 许可 的 时 间 内 响 
应 用 户 的 请 求 。 无 论 用 户 使 用 哪 种 网 络 接 入 方式 ，Web 站 点 都 不 能 让 用 户 等 待 太 长 时 间 ， 例 如 
超过 5 秒 。 尤 其 要 注意 主页 的 响应 时 间 ， 因 为 主页 是 每 一 个 用 户 都 要 访问 到 的 ， 访 问 频率 最 高 。 
另外 ，Web 页 面 经 常 有 超时 限制 ， 如 果 响 应 时 间 太 长 ， 用 户 可 能 还 没 来 得 及 浏览 内 容 就 需要 重 
新 登录 。 页 面 响应 时 间 过 长 还 可 能 引起 数据 丢失 ， 使 用 户 看 不 到 完整 真实 的 页 面 信息 。 

(2) 负载 测试 。 负 载 测试 是 为 了 测试 Web 系统 在 某 一 负载 级 别 的 性 能 , 保证 Web 系统 在 规 
定 负载 范围 内 的 性 能 表现 满足 需求 。 负 载 可 以 是 某 个 时 刻 同 时 访问 系统 的 在 线 用 户 数量 ， 也 可 
以 是 系统 的 吞吐 量 ， 例 如 可 以 将 网 上 购物 系统 的 订单 量 看 作 系统 吞吐 量 ， 测 试 结果 需 要 绘制 出 
负载 和 性 能 指标 之 间 的 关系 。 这 类 测试 需求 经 常 表达 为 : 如 果 在 线 用 户 数量 小 于 100， 则 页 面 
响应 时 间 不 超过 3 秒 ， 事 务 处 理 的 成 功率 为 100%; 如 果 在 线 用 户 数量 达到 峰值 300， 则 页 面 响 
应 时 间 不 超过 5 秒 ， 事 务 处 理 的 成 功率 大 于 90%。 

(3) 压力 测试 。Web 系统 的 压力 测试 是 指向 系统 施加 超过 实际 预期 的 负载 量 ， 如 超大 的 页 
面 访问 量 或 峰值 数据 处 理 量 , 最 后 使 得 系统 无 法 承受 而 失效 甚至 月 省， 从 而 测试 Web 系统 的 极 
限 负载 量 和 故障 恢复 能 力 。 压 力 测试 的 区 域 包 括 登 录 、 表 单 和 其 他 信息 传输 页 面 等 。 

(4) 容量 测试 。 测 试 Web 系统 在 允许 的 性 能 指标 情况 下 的 最 大 容量 。 例 如 ，Web 系统 能 允 
许多 少 个 用 户 同 时 在 线 ? 能 够 同时 处 理 多 少 个 用 户 对 同一 个 页 面 的 请 求 ? 数据 库 最 多 能 够 保存 
多 少 用 户 记录 数 ? 如 果 超 出 这 个 数量 ， 系 统 性 能 将 开始 明显 恶化 。 


3. 兼容 性 测试 


(1) 平台 测试 。 用 户 使 用 的 操作 系统 不 同 ， 某 些 操作 系统 与 特定 Web 系统 会 产生 兼容 性 问 
题 ， 从 而 造成 系统 使 用 错误 。 因 此 ， 需 要 测试 主流 操作 系统 与 Web 系统 的 兼容 性 。 

(2) 浏览 器 测试 。 测 试 页 面 的 框架 、 层 次 结构 风格 、 插 件 和 页 面 脚本 程序 在 不 同 浏览 器 中 
是 否 都 能 够 正确 显示 或 运行 。 
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(3) 分 辩 率 测试 。 测 试 页 面 在 常见 分 辨 率 下 是 否 能 正常 显现 。 
(4) 与 其 他 软件 的 兼容 性 。 例 如 与 一 些 杀毒 软件 、 第 三 方 插件 的 兼容 性 。 
(5) 组 合 测试 。 将 上 述 测试 要 素 组 合 在 一 起 ， 测 试 是 否 存在 兼容 性 问题 。 


4. 安全 性 测试 


Web 应 用 系统 经 常 面向 Intemet 上 的 广大 用 户 ， 因 此 Web 测试 中 的 安全 性 测试 显得 尤为 重 
要 ， 尤 其 是 对 于 电子 商务 类 网 站 。 安 全 性 测试 要 求 测试 人 员 具 备 专门 的 网 络 安 全 专业 知识 与 经 
验 ， 已 经 与 性 能 测试 工程 师 一 样 ， 逐 步 发 展 为 一 种 专门 的 软件 测试 职位 。Web 系统 安全 性 测试 
主要 包括 以 下 内 容 。 

(1) 用 户 注册 与 登录 。 对 用 户 名 和 密码 进行 测试 ， 检 查 注册 时 是 否 校 验 了 密码 的 强度 ， 用 
户 名 和 密码 是 否 大 小 写 敏感 ， 密 码 是 否 有 失效 周期 ， 是 否 有 登录 次 数 限制 ， 是 否 可 以 不 登录 而 
通过 网 页 地 址 直接 浏览 某 个 页 面 ， 登 录 页 面 刷新 后 验证 码 是 否 更 新 等 。 

(2) 网 站 目录 设置 。Web 服务 器 的 每 个 目录 下 都 应 当 有 index.html 或 mainhtml 页 面 ， 这 
样 就 不 会 显示 该 目录 下 的 所 有 内 容 。 如 果 违 反 这 条 规则 ， 根 据 目录 下 显示 的 文件 信息 可 以 获得 
和 查找 到 很 多 不 应 公开 的 系统 内 部 资料 。 

(3) 系统 超时 限制 。 检 查 是 否 设 定 了 合理 的 用 户 会 话 失效 时 间 ， 用 户 会 话 超时 后 是 否 需 要 
重新 登录 才能 正常 使 用 ， 是 否 限 制 了 同一 用 户 短 时 间 内 频繁 登录 。 

(4) 日 志文 件 。 测 试 系统 运行 和 用 户 使 用 关键 信息 是 否 写 进 了 日 志文 件 ， 是 否 能 够 根据 日 
志 信息 追踪 安全 性 问题 的 来 源 与 产生 根源 。 

(5) SSL 和 TLS 的 有 效 性 。 当 使 用 SSL(Secure Socket Layer， 安 全 套 接 字 层 ) 或 其 继任 者 
TLS(Transport Layer Security， 传 输 层 安全 ) 时 ， 需 要 测试 加 密 是 否 正确 以 及 信息 的 完整 性 。 如 果 
使 用 了 SSL 或 TLS， 地 址 栏 中 的 HTTP 变 成 HTTPS， 一 些 版 本 的 浏览 器 可 能 不 支持 或 不 兼容 
SSL 或 TLS， 测 试 人 员 需 要 确定 是 否 有 相应 的 替代 页 面 。 当 用 户 进入 或 离开 安全 站 点 的 时 候 ， 
需要 确保 有 相应 的 提示 信息 。 

(6) 服务 器 端 脚本 。 黑 客 经 常 利用 服务 器 端 脚本 安全 漏洞 对 系统 进行 攻击 。 经 验 丰 富 的 黑 
客 可 以 找 出 站 点 使 用 了 哪些 脚本 语言 ， 并 研究 这 些 语言 的 缺陷 。 需 要 保证 只 有 经 过 授权 的 系统 
开发 和 维护 人 员 才 能 在 服务 器 端 放 置 或 编辑 脚本 。 

(7) 缓冲 区 溢出 。 测 试 是 否 存 在 缓冲 区 溢出 漏洞 。 缓 冲 区 溢出 在 各 种 软件 系统 中 广泛 存在 ， 
利用 缓冲 区 溢出 漏洞 实施 的 攻击 就 是 缓冲 区 溢出 攻击 。 通 过 缓冲 区 溢出 可 以 破坏 Web 应 用 程序 
的 栈 ， 发 送 特别 编写 的 程序 到 Web 程序 中 ,就 像 给 程序 开 了 后 门 。 这 种 安全 隐患 是 致命 的 ， 可 
以 导致 程序 运行 失败 、 系 统 关机 、 重 新 启动 ， 或 者 执行 攻击 者 的 指令 ， 比 如 非法 提升 权限 。 

(8) 页 面 传 值 。 当 使 用 QueryString 查询 字符 串 的 方式 在 页 面 间 传 值 时 ， 要 传递 的 数据 附加 
在 网 页 地 址 URL 的 后 面 ， 例 如 RequestRedirect("Sample.aspx? 参 数 名 = 参数 值 )。 此 时 存在 传递 
数据 被 算 改 的 风险 ， 因 此 不 应 当 通 过 这 种 方法 传递 敏感 信息 。 

(9) Cookie 与 高 速 缓存 。Cookie 与 高 速 缓 存 中 不 应 当 保存 敏感 的 、 未 加 密 的 关键 数据 ， 不 
允许 有 任何 敏感 资料 保存 在 用 户 终端 。 

(10) 跨 站 脚本 攻击 (XSS)。 跨 站 脚本 攻击 是 指 攻 击 者 编写 恶意 脚本 ， 利 用 网 站 漏洞 从 用 户 
那里 恶意 盗 取 信息 ， 一 般 会 利用 漏洞 执行 documentwrite， 写 入 脚本 让 浏览 器 执行 。Web 应 用 
系统 需要 验证 页 面 上 的 输入 域 ， 禁 止 脚本 关键 字 的 输入 以 防止 跨 站 脚本 攻击 。 
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(11) SQL 注入 攻击 。SQL 注入 攻击 属于 常见 的 数据 库 攻击 手段 之 一 。 如 果 没 有 对 用 户 输入 
数据 的 合法 性 进行 验证 ,那么 用 户 就 可 以 通过 文本 输入 域 提交 一 段 SQL 查询 代码 , 根据 数据 库 
查询 结果 得 到 某 些 想 知道 的 数据 。 


证 思考 题 


Sof 


MD omDP 一 


. 什么 是 功能 测试 ? 什么 是 非 功 能 测试 ? 

- 功能 测试 和 黑 盒 测 试 有 什么 区 别 ? 

- 不 同 测试 阶段 中 的 功能 测试 有 哪些 不 同 之 处 ? 

. 功能 测试 一 般 包括 哪些 方面 的 测试 内 容 ? 

- 非 功 能 需求 与 功能 需求 在 需求 描述 上 有 哪些 明显 的 不 同 之 处 ? 

. 软件 系统 都 有 哪些 常见 的 非 功 能 属性 ? 

. 什么 是 本 测试 ? 什么 是 易 用 性 测试 ? UI 测试 和 易 用 性 测试 的 关系 是 什么 ? 
. 简 述 常见 的 性 能 测试 类 型 及 其 含义 。 

. 什么 是 负载 测试 、 压 力 测试 和 容量 测试 ? 简 述 它们 之 间 的 区 别 与 联系 。 

. 什么 是 稳定 性 测试 ， 都 有 哪些 常见 的 评价 系统 稳定 性 的 指标 ? 

. 什么 是 可 恢复 性 测试 ? 什么 是 容错 性 测试 ? 简 述 它们 之 间 的 区 别 与 联系 。 

. 简 述 可 恢复 性 测试 的 主要 测试 内 容 。 

. 什么 是 基准 测试 ? 什么 时 候 进 行 基准 测试 ? 

. 简 述 性 能 测试 中 常见 的 三 种 指标 : 响应 时 间 、 吞 吐 量 和 并 发 用 户 数 的 含义 。 
. 在 线 用 户 、 并 发 用 户 和 虚拟 用 户 有 什么 不 同 ? 

16. 
17. 


简 述 性 能 测试 的 主要 目的 。 
系统 负载 与 资源 占有 率 、 系 统 吞吐 量 、 响 应 时 间 的 关系 是 什么 ， 请 画 出 系统 负载 不 断 


增加 情况 下 资源 占有 率 、 系 统 吞吐 量 、 响 应 时 间 的 变化 曲线 ， 在 上 面 标记 出 最 优 并 发 用 户 数 和 
最 大 并 发 用 户 数 并 且说 明 标记 理由 。 


18. 
过 
20. 


进行 负载 测试 时 ， 负 载 的 加 载 方式 都 有 哪些 ? 
简 述 兼容 性 测试 的 主要 内 容 。 
Web 应 用 系统 的 安全 性 测试 都 包括 哪些 主要 内 容 ? 
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第 6 章 


软件 缺陷 报告 与 测试 评估 


软件 测试 人 员 需 要 以 规范 化 的 形式 报告 测试 过 程 中 发 现 的 软件 缺陷 。 在 修复 缺陷 的 过 程 中 ， 
缺陷 报告 将 测试 人 员 和 开发 人 员 的 工作 紧密 联系 在 一 起 。 准 确 和 易于 理解 的 缺陷 报告 是 开发 人 
员 正 确 、 快 速 修复 缺陷 的 基础 。 测 试 工作 完成 时 ， 需 要 编写 测试 总 结 报告 ， 对 整个 测试 工作 做 
出 评价 和 分 析 ， 对 软件 产品 的 质量 进行 评估 。 测 试 评估 通常 需要 给 出 定量 化 的 评估 结果 ， 评 估 
中 的 缺陷 统计 分 析 以 规范 化 的 缺陷 报告 数据 为 主要 依据 。 本 章 主要 介绍 如 何 报告 软件 缺陷 ， 以 
及 如 何 进行 测试 评估 和 完成 测试 总 结 报告 。 


为 了 正确 、 全 面 地 描述 软件 缺陷 ， 首 先 需 要 了 解 缺陷 的 一 些 主要 属性 ， 这 些 属性 为 缺陷 修 
复 和 缺陷 统计 分 析 提 供 了 重要 依据 。 软 件 缺陷 包括 以 下 一 些 主要 属性 。 

1) 缺陷 标识 (Identifier) 

唯一 标识 软件 缺陷 的 符号 ， 通 常用 数字 编号 表示 。 当 使 用 缺陷 管理 系统 时 ， 由 软件 自动 
生成 。 

2) 缺陷 类 型 (Type) 

根据 软件 缺陷 的 自然 属性 划分 的 缺陷 类 型 如 表 6-1 所 示 。 


表 6-1 软件 缺陷 的 类 型 


缺陷 类 型 描述 
功能 对 软件 使 用 产生 重要 影响 ， 需 要 正式 变更 设计 文档 。 例 如 功能 缺失 、 功 能 错误 、 功 能 超出 
需求 和 设计 范围 、 重 要 算法 错误 等 
界面 影响 人 机 交互 的 正确 性 和 有 效 性 ， 如 软件 界面 显示 、 操 作 、 易 用 性 等 方面 的 问题 
性 能 不 满足 性 能 需求 指标 ， 如 响应 时 间 慢 、 事 务 处 理 率 低 、 不 能 支持 规定 的 并 发 用 户 数 等 
接口 软件 单元 接口 之 间 存 在 调用 方式 、 参 数 类 型 、 参 数 数量 等 不 匹配 、 相 互 冲突 等 问题 
逻辑 分 支 、 循 环 、 程 序 执行 路 径 等 程序 逻辑 错误 ， 需 要 修改 代码 
计算 错误 的 公式 、 计 算 精 度 、 运 算 符 优先 级 等 造成 的 计算 错误 
数据 数据 类 型 、 变 量 初始 化 、 变 量 引用 、 输 入 与 输出 数据 等 方面 的 错误 


文档 影响 软件 发 布 和 维护 的 、 包 括 注释 在 内 的 文档 缺陷 


软件 测试 靶 术 


( 续 表 ) 
描述 


软件 配置 变更 或 版 本 控制 引起 的 错误 


不 符合 编码 标准 、 软 件 标准 、 行 业 标 准 等 


操作 系统 、 浏 览 器 、 显 示 分 辩 率 等 方面 的 兼容 性 问题 
影响 软件 系统 安全 性 的 缺陷 
上 述 问题 中 不 包含 的 其 他 问题 


上 述 缺陷 类 型 的 划分 并 没有 统一 的 标准 ， 测 试 人 员 一 般 根据 本 企业 所 研发 软件 的 特点 定义 
适当 的 缺陷 类 型 ， 以 使 于 有 针对 性 地 分 配 缺陷 修复 工作 和 进行 缺陷 分 类 统计 分 析 。 

3) 缺陷 严重 程度 (Severity) 

不 同 的 软件 缺陷 对 软件 质量 的 影响 程度 不 同 有 些小 的 软件 缺陷 只 影响 软件 的 界面 美观 度 ， 
并 不 影响 软件 的 正常 使 用 ， 但 是 另外 一 些 缺陷 可 能 会 对 软件 功能 和 性 能 产生 严重 影响 。 缺 陷 的 
严重 程度 是 从 用 户 使 用 的 角度 评判 软件 缺陷 对 软件 质量 的 破坏 程度 ， 根 据 这 一 评判 结果 可 以 更 
为 合理 地 安排 缺陷 修复 工作 ， 优 先 将 有 限 的 时 间 、 人 力 资 源 等 用 于 修复 严重 程度 高 的 缺陷 。 缺 
陷 严 重 程度 的 划分 如 表 6-2 所 示 。 


缺陷 严重 等 级 
致命 (Fatal) 


严重 (Critical) 


重要 (Major) 


较 小 (Minor) 


表 6-2 软件 缺陷 的 严重 程度 
描述 

缺陷 会 导致 系统 的 某 些 主要 功能 完全 丧失 ， 系 统 无 法 正常 执行 基本 功能 ,用 户 数据 章 到 破 
坏 ， 系 统 出 现 崩 溃 、 悬 挂 和 死机 现象 ， 甚 至 危及 人 身 安 全 

系统 的 主要 功能 部 分 丧失 ， 次 要 功能 完全 丧失 ， 用 户 数据 不 能 正常 保存 ， 缺 陷 严重 影响 用 
户 对 软件 系统 的 正常 使 用 。 包 括 可 能 造成 系统 崩溃 等 灾难 性 后 果 的 缺陷 、 数 据 库 错误 等 
产生 错误 的 运行 结果 ， 导 致 系统 不 稳定 ， 对 系统 功能 和 性 能 产生 重要 影响 。 例 如 ， 系 统 操 
作 响 应 时 间 不 满足 要 求 ， 某 些 功能 需求 未 实现 、 业 务 流程 不 正确 、 系 统 出 现 某 些 意外 故 
障 等 

缺陷 会 使 用 户 使 用 软件 不 方便 或 遇 到 麻烦 ， 但 不 影响 用 户 的 正常 使 用 ， 也 不 影响 系统 的 稳 
定性 。 主 要 指 用 户 界面 方面 的 一 些 问题 ， 例 如 提示 信息 不 准确 、 错 别 字 、 界 面 不 一 致 等 


4) 缺陷 优先 级 (Priority) 
缺陷 优先 级 代表 缺陷 必须 被 修复 的 紧急 程度 ， 具 体 划分 如 表 6-3 所 示 。 


表 6-3 软件 缺陷 的 优先 级 


缺陷 优先 级 描述 
立即 解决 缺陷 的 存在 导致 系统 几乎 无 法 运行 和 使 用 ， 或 是 造成 测试 无 法 继续 进行 ， 例 
(Resolve Immediately) 如 无 法 通过 冒 烟 测试 ， 必 须 立 即 予 以 修复 
高 优先 级 缺陷 严重 ， 影 响 测试 的 正常 进行 ， 需 要 优先 在 规定 的 时 间 内 (如 24 小 时 内 ) 完 
(High Priority) 成 修改 
EMH 缺陷 需要 修复 ， 但 可 以 正常 排队 等 待 修复 
(Normal Queue) 
低 优 先 级 缺陷 可 以 在 开发 人 员 有 时 间 的 时 候 进行 修复 ， 如 果 开 发 和 测试 时 间 紧 迫 ， 可 


(Not Urgent) 以 在 下 一 软件 版 本 中 进行 修正 
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缺陷 的 优先 级 是 从 开发 人 员 和 测试 人 员 的 角度 出 发 ， 以 合理 安排 工作 时 间 和 提高 工作 效率 
为 目标 进行 设置 的 ， 当 然 也 考虑 到 缺陷 的 严重 等 级 ， 但 并 不 是 越 高 严重 等 级 的 缺陷 就 一 定 被 越 
早 处 理 。 例 如 ， 某 一 缺陷 并 不 是 很 严重 ， 但 是 可 能 造成 测试 工作 无 法 正常 进行 ， 那 么 该 缺陷 就 
应 当 被 设置 为 高 优先 级 ， 需 要 尽快 得 到 处 理 。 又 例如 ， 有 些 缺 陷 的 严重 性 等 级 很 高 ， 但 是 由 于 
属于 第 三 方 软件 缺陷 或 受到 技术 条 件 限制 ， 暂 时 无 法 修复 ， 某 些 缺 陷 存在 修复 风险 ， 需 要 慎重 
考虑 ， 例 如 需要 重新 修改 软件 架构 ， 但 是 市 场 压 力 要 求 软件 必须 尽快 发 布 ， 一 些 缺 陷 只 是 在 非 
常 极端 的 情况 下 才 会 发 生 , 这 些 情况 下 的 缺陷 不 会 被 马上 处 理 , 其 缺陷 优先 级 会 被 设置 得 较 低 。 

5) 缺陷 出 现 的 可 能 性 Possibility) 

缺陷 出 现 的 可 能 性 是 指 某 一 缺陷 发 生 的 频率 ， 例 如 ， 是 每 次 执行 测试 用 例 时 都 100% 出 现 ， 
还 是 执行 10 次 测试 用 例 才 偶尔 出 现 一 两 次 。 缺 陷 出 现 的 可 能 性 如 表 6-4 所 示 。 


表 6-4 ”软件 缺陷 出 现 的 可 能 性 (缺陷 的 出 现 概率 ) 
描述 

软件 缺陷 的 出 现 频率 是 100%， 每 次 测试 时 都 会 重 现 

测试 用 例 执行 时 通常 会 产生 ， 出 现 概率 是 80%6~90% 


缺陷 出 现 的 可 能 性 


测试 时 有 时 会 产生 这 一 软件 缺陷 ， 出 现 概率 是 30%6~50% 
测试 时 很 少 产生 这 一 软件 缺陷 ， 出 现 概率 是 196-5% 


缺陷 的 出 现 概率 影响 到 是 否 能 够 方便 地 重 现 缺陷 ， 是 测试 和 开发 人 员 非 常 关注 的 一 项 缺陷 
属性 。 测 试 人 员 报 告 软件 缺陷 和 开发 人 员 修改 缺陷 时 ， 都 希望 能 够 准确 地 重 现 软件 缺陷 ， 这 样 
才能 够 准确 定位 和 分 析 产 生 缺 陷 的 原因 。 但 是 由 于 消息 驱动 、 并 行 计算 、 分 布 式 等 复杂 软件 系 
统 的 不 断 增加 ， 侦 发 性 的 缺陷 经 常 出 现 ， 给 缺陷 的 发 现 和 排除 带 来 了 很 大 困难 。 这 就 要 求 软件 
系统 具有 详细 的 运行 记录 能 力 ， 如 关键 性 的 系统 运行 日 志和 用 户 使 用 日 志 ， 也 要 求 测试 人 员 更 
为 详尽 地 记录 系统 运行 环境 和 用 户 使 用 步骤 等 信息 ， 然 后 通过 跟踪 与 分 析 找 出 偶发 缺陷 的 产生 

6) 缺陷 状态 (Status) 

缺陷 状态 用 于 描述 跟踪 和 修复 缺陷 的 进展 情况 , 也 反映 了 缺陷 在 其 生命 周期 中 的 不 同 变化 。 
常见 的 缺陷 状态 如 表 6-5 所 示 。 


表 6-5 软件 缺陷 的 状态 


缺陷 状态 描述 
提交 (Submitted) 已 提交 入 库 的 缺陷 
激活 或 打开 (Active 或 Open) 缺陷 提交 得 到 确认 但 还 未 解决 ， 缺 陷 等 待 处 理 
拒绝 Rejected) 开发 人 员 认 为 不 是 缺陷 或 重复 提交 的 缺陷 ， 不 需要 修复 
已 修正 或 修复 (Fixed 或 Resolved) 缺陷 已 经 被 开发 人 员 修 复 ， 但 是 还 没有 经 过 测试 人 员 的 验证 
验证 (Verify) 缺陷 验证 通过 
关闭 或 非 激 活 (Closed 或 Inactive) 测试 人 员 验 证 后 认为 缺陷 已 经 成 功 修复 
重新 打开 (Reopen) 测试 人 员 验 证 后 认为 缺陷 仍然 存在 ， 等 待 开发 人 员 进 一 步 修复 
推迟 Defemed) 缺陷 推迟 到 下 一 个 软件 版 本 中 修复 
保留 (On Hold) 由 于 技术 原因 或 第 三 方 软件 的 缺陷 ， 开 发 人 员 暂 时 无 法 修复 
不 能 重 现 (Cannot Duplicate) 开发 人 员 无 法 重 现 缺陷 ， 需 要 测试 人 员 补充 说 明 重 现 步骤 
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缺陷 起 源 (Origin) 


缺陷 起 源 是 指 测 试 时 第 一 次 发 现 缺 陷 的 阶段 ， 例 如 以 下 一 些 典 型 阶段 :需求 阶段 、 总 体 设 
计 阶段 、 详 细 设 计 阶 段 、 编 码 阶段 、 单 元 测试 阶段 、 集 成 测试 阶段 、 系 统 测试 阶段 、 验 收 测试 
阶段 、 产 品 试 运行 阶段 、 产 品 发 布 后 用 户 使 用 阶段 。 发 现 缺陷 的 阶段 越 早 ， 越 有 利于 降低 改正 
缺陷 的 费用 。 


8) 


缺陷 来 源 (Source) 


缺陷 来 源 是 指 软 件 缺 陷 发 生 的 地 方 。 在 软件 生命 周期 某 一 阶段 发 现 的 缺陷 可 能 来 源 于 前 期 
阶段 出 现 的 错误 。 例 如 ， 在 编码 阶段 发 现 的 缺陷 ， 产 生 原因 可 能 是 需求 分 析 或 设计 中 的 错误 造 
因此 ， 通 过 问题 回溯 可 以 找到 缺陷 产生 的 源头 ， 有 利于 发 现 可 能 存在 的 相关 缺陷 ， 彻 底 
修正 软件 潜在 的 问题 。 同 时 ， 也 有 利于 分 析 各 阶段 的 研发 质量 。 缺 陷 一 般 来 自 以 下 几 个 地 方 。 


成 的 。 


需求 说 明 书 。 需 求 分 析 错 误 或 不 准确 。 


e 设计 文档 。 设 计 与 需求 不 一 致 ， 设 计 错误 等 。 


系统 接口 。 接 口 参数 不 匹配 等 问题 。 

数据 库 。 数 据 库 逻 辑 或 物理 设计 问题 。 

程序 代码 。 完 全 由 于 编码 问题 造成 的 一 些 软件 缺陷 。 
用 户 手 册 。 造 成 用 户 使 用 问题 。 


根据 统计 ， 软 件 研发 过 程 中 各 阶段 缺陷 的 产生 比例 如 图 6-1 所 示 。 实 际 上 ，70%~90% 的 缺 
陷 都 来 源 于 真正 的 程序 测试 之 前 的 阶段 ， 尤 其 是 需求 分 析 和 设计 阶段 。 因 此 ， 必 须 加 强 对 需求 
和 设计 的 审查 和 评审 ， 从 来 源 上 减少 缺陷 数量 ， 控 制 软件 质量 ， 而 不 是 仅仅 依赖 于 程序 测试 。 


需求 分 析 56% 


图 6-1 软件 缺陷 产生 的 阶段 


9) 缺陷 根源 (Root Cause) 
缺陷 根源 是 指 造成 软件 缺陷 的 根本 因素 ， 主 要 是 开发 过 程 、 工 具 、 方 法 等 软件 工程 技术 与 


不 
由 


过 程 。 对 软件 研发 的 正规 步骤 不 够 重视 、 缺 乏 成 熟 的 过 程 管理 


因素 以 及 测试 策略 等 因素 ， 通 过 缺陷 根源 分 析 可 以 改进 软件 过 程 管理 水 平 。 


经 验 。 例 如 ， 在 需求 分 


析 还 不 够 全 面 和 准确 的 情况 下 就 匆忙 开始 设计 与 编码 工作 ， 缺 乏 应 对 需求 变更 的 控制 


手段 、 不 重视 技术 文档 的 编写 与 评审 等 。 


e 工具 。 没 有 应 用 软件 项 目 开 发 必需 的 软件 工程 支撑 工具 ， 技 术 手 段落 后 ， 因 而 无 法 完 
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@ 方法。 没有 采用 适当 的 软件 工程 方法 学 ， 软 件 研发 实践 缺乏 理论 指导 。 

。 管理 。 研 发 人 员 职 责 划分 不 明确 ， 任 务 安 排 不 合理 ， 缺 乏 风 险 控制 和 应 对 机 制 ， 评 审 
和 监督 检查 机 制 欠 缺 ， 缺 乏 人 员 培 训 ， 缺 乏 用 户 参与 ， 缺 乏 项 目 团队 的 合理 组 织 和 通 
信 ， 缺 乏 相关 部 门 的 支持 与 配合 等 项 目 管理 问题 。 

e ， 资源。 缺乏 必要 的 软 硬 件 研 发 资源 ， 开 发 人 员 数 量 和 质量 无 法 满足 要 求 ， 研 发 资金 投 
入 不 足 ， 工 作 环境 恶劣 等 。 

e 测试 策略 。 错 误 的 测试 范围 、 不 正确 的 测试 目标 、 不 合理 的 测试 技术 与 方法 。 


软件 缺陷 报告 


6.2.1 软件 缺陷 报告 中 的 信息 


在 实际 工作 中 ， 经 常会 出 现 由 于 软件 缺陷 描述 不 清 而 无 法 重 现 缺陷 、 无 法 合理 安排 修复 工 
作 、 后 期 无 法 对 缺陷 进行 统计 分 析 等 情况 。 全 面 、 准 确 、 清 晰 的 软件 缺陷 描述 可 以 给 开发 和 测 
试 人 员 带 来 如 下 益处 。 

e 减少 测试 人 员 与 开发 人 员 之 间 的 纠纷 ， 避 免 提交 给 开发 人 员 的 软件 缺陷 被 频繁 退回 的 

情况 出 现 ， 提 高 开发 人 员 对 测试 人 员 的 信任 度 。 

e 以 软件 缺陷 报告 为 纽带 ， 以 提升 软件 质量 为 共同 目标 ， 加 强 测试 人 员 与 开发 人 员工 作 

的 协同 性 ， 提 高 修复 软件 缺陷 的 效率 。 

e 不 断 积累 软件 缺陷 信息 ， 通 过 综合 统计 分 析 ， 找 出 软件 研发 过 程 中 的 不 足 之 处 ， 不 断 

提升 软件 过 程 成 熟 度 。 

一 份 完整 的 软件 缺陷 报告 包括 以 下 一 些 信息 。 

1) 缺陷 跟踪 信息 

e 缺陷 ID: 唯一 标识 软件 缺陷 ， 便 于 跟踪 与 查询 。 

标题 : 缺陷 的 概括 性 文字 描述 。 

所 属 项 目 : 缺陷 属于 哪个 软件 项 目 。 

版 本 跟踪 : 缺陷 属于 软件 项 目的 哪个 版 本 ， 是 新 缺陷 还 是 回归 缺陷 。 
所 属 模块 : 缺陷 位 于 哪个 功能 模块 。 

) 缺陷 详细 信息 
测试 步骤 : 发 现 缺陷 时 的 操作 步骤 描述 ， 便 于 重 现 缺 陷 。 这 一 信息 是 软件 缺陷 报告 的 
关键 信息 ， 往 往 因为 步骤 描述 不 清 而 导致 开发 人 员 无 法 重 现 缺 陷 ， 将 软件 缺陷 报告 退 
回 并 且 对 测试 人 员 产 生 抱怨 。 

e 期 望 结果 : 根据 用 户 需求 和 软件 设计 ， 软 件 原本 应 当 出 现 的 运行 结果 。 

e 实际 结果 : 根据 测试 步骤 实际 产生 的 软件 运行 结果 。 因 实际 结果 和 期 望 结果 不 同 ， 测 
试 人 员 认 为 存在 软件 缺陷 。 结 果 信 息 应 当 尽 可 能 有 说 服 力 ， 例 如 给 出 缺陷 影响 到 的 主 
要 功能 和 性 能 要 素 ， 证 明 缺 陷 确 实 存在 。 

e 测试 环境 : 对 测试 软 硬 件 环境 的 描述 ， 帮 助 开发 人 员 分 析 缺 陷 产 生 原因 。 许 多 软件 功 
能 在 通常 情况 下 没有 问题 ， 而 在 特定 环境 条 件 下 出 现 错误 ， 因 此 缺陷 描述 不 能 忽视 对 


ee @ @ 
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于 运行 环境 细节 的 描述 。 
3) 缺陷 附件 信息 
e 缺陷 附件 ， 图片、 日 志文 件 、 视 频 等 能 够 反映 缺陷 发 生 时 的 软件 表现 、 运 行 记录 的 信 

息 ， 可 以 为 开发 人 员 提 供 更 为 直观 和 细致 的 缺陷 信息 。 
4) 缺陷 属性 信息 
e 类 型 : 功能 、 用 户 界面 、 性 能 、 文 档 等 类 型 。 

严重 程度 : 可 以 分 为 致命 、 严 重 、 重 要 和 较 小 。 

优先 级 : 可 以 分 为 立即 解决 、 高 优先 级 、 正 常 排队 和 低 优 先 级 。 

出 现 概率 : 按 统计 结果 标明 缺陷 发 生 的 可 能 性 1%~100%。 

缺陷 起 源 、 来 源 和 根源 信息 。 
) 缺陷 处 理 信息 

提交 人 员 : 发 现 缺陷 的 人 员 姓 名 和 联系 邮件 地 址 。 

提交 时 间 : 软件 缺陷 最 近 的 提交 时 间 ， 便 于 限时 修复 。 

分 配 的 修复 人 员 : 一 般 是 谁 开发 谁 修复 ， 也 可 以 由 项 目 管理 人 员 分 配 其 他 开发 人 员 进 
行 集中 修复 。 

修复 期 限 ， 由 项 目 管理 人 员 确 定 的 缺陷 修复 期 限 。 

修复 时 间 : 开发 人 员 完 成 缺陷 修复 后 提交 给 测试 人 员 进 行 验 证 的 时 间 。 

缺陷 验证 人 员 : 由 谁 来 验证 这 一 软件 缺陷 的 修复 结果 。 

验证 意见 : 对 验证 结果 的 描述 以 及 简要 意见 。 

验证 时 间 : 给 出 最 终 验证 结果 的 时 间 。 


6.2.2 ”软件 缺陷 报告 模板 


从 以 上 内 容 可 知 ， 一 份 软件 缺陷 报告 可 以 包含 非常 丰富 的 缺陷 描述 信息 。 在 实际 工作 中 ， 
一 般 根据 软件 项 目 特点 对 上 述 缺 陷 描述 信息 进行 裁剪 ， 制 定 合适 的 软件 缺陷 报告 模板 。 

书写 软件 缺陷 报告 是 测试 执行 过 程 中 的 一 项 重要 任务 ， 好 的 软件 缺陷 报告 有 助 于 测试 人 员 
在 报告 缺陷 时 确认 提供 正确 且 适 当 的 信息 ， 并 且 回 答 开发 人 员 最 想 知道 的 问题 。 如 果 一 份 软件 
缺陷 报告 包含 的 信息 过 多 或 过 少 、 内 容 组 织 混乱 、 难 以 理解 ， 会 导致 缺陷 被 开发 人 员 退 回 ， 从 
而 耽误 宝贵 的 缺陷 修复 时 间 。 更 为 严重 的 是 ， 如 果 软 件 缺陷 报告 中 没有 详细 说 明 缺 陷 对 软件 质 
量 的 影响 程度 ， 缺 陷 可 能 会 被 错误 地 推迟 修复 甚至 被 忽略 ， 给 发 布 后 的 软件 带 来 严重 的 质量 
隐患 。 

一 些 软件 缺陷 跟踪 工具 会 自动 生成 软件 缺陷 报告 ， 但 是 尽管 如 此 ， 还 是 有 必要 将 相关 信息 
补充 到 测试 人 员 自己 的 软件 缺陷 报告 中 以 适应 特定 软件 企业 和 软件 项 目的 要 求 。 表 6-6 是 较为 
通用 的 软件 缺陷 报告 模板 ， 可 以 在 实际 工作 中 修改 为 更 为 适合 特定 工作 要 求 的 模板 。 填 写 模板 
信息 时 ， 需 要 遵守 以 下 “5C” 原 则 。 

eCorrect( 准 确 ): 对 每 个 组 成 部 分 的 描述 准确 ， 不 会 引起 误解 。 

e Clear( 清 晰 ): 对 每 个 组 成 部 分 的 描述 清晰 ， 易 于 理解 。 

e ”Concise( 简 洁 ): 描述 信息 只 包含 必 不 可 少 的 内 容 。 

e ”Complete( 完 整 ): 包含 重 现 缺陷 的 完整 步骤 和 其 他 辅助 信息 。 


1 ©® @ @ 
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@ ”Consistent( 一 致 ): 按照 一 致 的 格式 书写 全 部 软件 缺陷 报告 。 
表 6-6 软件 缺陷 报告 模板 


缺陷 记录 
缺陷 ID 标题 (概述 ) 
软件 名 称 模块 名 版 本 号 | 
严重 程度 优先 级 状态 | 
缺陷 类 型 发 现 阶段 缺陷 来 源 
缺陷 的 出 现 概率 可 能 性 说 明 
测试 人 员 分 配 的 修复 人 员 | 日期 | 
测试 环境 
测试 输入 
预期 结果 
异常 结果 


缺陷 重 现 步骤 


附件 


验证 人 


修复 时 间 验证 时 间 


验证 结论 


6.2.3 ”软件 缺陷 报告 的 注意 事项 


测试 人 员 在 编写 软件 缺陷 报告 之 前 ， 首 先 需 要 清楚 软件 缺陷 报告 的 主要 读者 以 及 他 们 最 希 
望 从 软件 缺陷 报告 中 获得 哪些 信息 。 软 件 缺陷 报告 的 读者 主要 是 开发 人 员 和 项 目 管理 人 员 。 开 
发 人 员 最 为 关心 缺陷 的 重 现 步骤 ， 而 项 目 管理 人 员 最 为 关心 缺陷 的 严重 程度 以 及 各 种 严重 级 别 
的 缺陷 在 整个 软件 中 的 分 布 情况 。 此 外 ， 市 场 和 技术 服务 部 门 的 人 员 有 时 也 会 关心 缺陷 对 市 场 
和 用 户 的 影响 程度 。 因 此 ， 测 试 人 员 在 编写 软件 缺陷 报告 时 需要 注意 以 下 一 些 事项 。 
1) 保证 能 够 重 现 缺陷 
难以 重 现 缺 陷 的 报告 一 般 存 在 以 下 一 些 问题 : 
e ， 重 现 步 又 中 有 过 多 的 多 余 步 又， 描述 混乱 、 难 以 理解 。 
e ， 重 现 步 又 不 完整 ， 丢 失 关键 步 又。 
e 没有 对 缺陷 发 生 的 条 件 和 影响 区 域 进行 隔离 ， 开 发 人 员 无 法 判断 缺陷 的 影响 范围 ， 不 
能 彻底 修复 缺陷 。 

为 了 避免 上 述 问题 ， 软 件 缺陷 报告 应 当 按照 下 面 的 方法 进行 编写 : 

e 提供 测试 环境 信息 。 不 同 环境 下 的 相同 测试 步骤 可 能 产生 不 同 的 测试 结果 ， 因 此 需要 
提供 必要 的 软 硬 件 环境 信息 ， 例 如 操作 系统 、 被 测 软件 的 环境 变量 设置 信息 、 硬 件 驱 
动 程序 等 。 


169 


软件 测试 芒 本 ”一半 


e 提供 多 种 重 现 路 径 信 息 。 如 果 有 多 种 方法 可 以 触发 缺陷 ， 需 要 列举 这 些 方法 。 同 样 ， 
如 果 某 些 程序 执行 路 径 不 触发 缺陷 ， 也 要 列举 这 些 执行 路 径 。 
对 每 个 重 现 步骤 编号 ， 并 且 每 个 步骤 尽 可 能 只 记录 一 项 操作 。 
步骤 描述 完整 、 准 确 、 简 洁 。 
既 没有 多 余 步骤 ， 也 没有 遗漏 任何 操作 步骤 。 
e ”只 记录 操作 步骤 ， 不 包含 测试 过 程 的 详细 技术 细节 ， 除 非 这 些 信息 至 关 重 要 。 
有 些 缺 陷 很 容易 重 现 ， 有 些 会 很 难 。 如 果 测 试 人 员 发 现 不 能 保证 重 现 缺 陷 ， 例 如 缺陷 发 生 
的 概率 很 低 ， 那 么 就 需要 给 开发 人 员 提供 尽 可 能 多 的 有 效 信息 。 在 没有 验证 缺陷 如 何 重 现 之 前 
不 要 确信 缺陷 是 可 以 重 现 的 。 如 果 无 法 重 现 或 者 没有 验证 是 否 可 以 重 现时 ， 一 定 要 在 软件 缺陷 
报告 中 进行 说 明 。 在 开发 人 员 没有 重 现 缺 陷 之 前 ， 不 要 删除 测试 数据 ， 或 者 至 少 要 备份 这 些 
数据 。 
2) 一 份 软件 缺陷 报告 只 针对 一 个 缺陷 
在 一 份 软件 缺陷 报告 中 包含 多 个 缺陷 容易 产生 以 下 问题 : 
e 开发 人 员 只 关注 和 修复 其 中 一 个 主要 缺陷 而 忽视 或 遗漏 其 他 缺陷 。 
e 不 便于 分 别 跟踪 同一 软件 缺陷 报告 中 的 多 个 缺陷 。 
e 不 便于 将 多 个 缺陷 分 配给 不 同 的 开发 人 员 进 行 修复 。 
。 不 便于 回归 测试 。 测 试用 例 通常 针对 单一 缺陷 ， 这 样 便于 用 例 的 设计 和 维护 。 回 归 测 
试 时 如 果 一 个 测试 用 例 针对 多 个 缺陷 ， 由 于 各 个 缺陷 被 修复 的 时 间 不 同步 ， 会 无 法 及 
时 关闭 某 个 已 修复 好 的 缺陷 。 
虽然 有 时 多 个 缺陷 的 起 因 是 一 样 的 ， 但 是 在 真正 修复 缺陷 之 前 并 不 能 保证 知道 导致 某 个 缺 
陷 的 原因 。 因 此 即使 单独 报告 缺陷 显得 有 些 烦 琐 ， 但 也 比 延误 或 遗漏 缺陷 要 好 。 
3) 描述 准确 、 清 晰 
这 一 要 求 比较 抽象 ， 下 面 以 缺陷 标题 的 描述 为 例 进行 说 明 。 
缺陷 标题 远 比 一 般 测试 人 员 想 象 中 的 要 重要 。 在 很 多 情形 下 ， 开 发 人 员 首 先 关 注 的 就 是 缺 
陷 标 题 。 项 目 经 理 通常 也 不 会 仔细 去 看 缺陷 的 描述 ， 而 只 是 查看 缺陷 标题 ， 然 后 就 给 出 结论 。 
因此 ， 缺 陷 标题 必须 简短 ， 而 且 要 求 描述 和 传达 出 准确 的 信息 。 可 以 参考 以 下 一 些 方法 来 书写 
缺陷 标题 。 
e 尽量 按 缺 陷 发 生 的 原因 与 结果 的 方式 书写 ， 例 如 “执行 完 A 后 ,发生 B”。 
e 使 用 关键 字 方 便 搜 索 和 查询 ， 例 如 “ 挂 起 ”“ 异 常 终止 ”“ 拼 写 错误 ”等 都 是 比较 有 
效 的 关键 字 。 
e@ 为 了 便于 他 人 理解 ， 避 免 使 术语 、 倡 语 或 过 分 具体 的 测试 细节 。 
e 表达 清晰 ， 例 如 应 当 将 “功能 中 断 、 功 能 不 正确 、 行 为 不 起 作用 ” 改 为 具体 的 “功能 
如 何 中 断 ， 如 何不 正确 或 如 何不 起 作用 ”。 
e 如 果 长 度 允 许 ， 在 缺陷 标题 中 有 必要 加 上 诸如 环境 、 影 响 等 5W1H(Why、When、Who、 
Where、What、How) 信 息 。 例 如 将 “保存 和 恢复 数据 成 员 时 出 错 ” 改 为 “在 Linux 环 
境 下 ， 系 统 维护 功能 保存 和 恢复 数据 失败 ， 数 据 丢 失 。” 
e 不 要 使 用 测试 工具 提供 的 默认 标题 。 一 些 缺陷 跟踪 工具 会 自动 把 缺陷 的 第 一 行 描述 作 
为 标题 ， 永 远 不 要 使 用 这 样 的 默认 标题 ， 标 题 要 尽 可 能 特殊 和 精确 。 
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重视 附件 信息 
附件 信息 应 当 是 缺陷 重 现 步骤 的 补充 信息 ， 是 对 测试 步骤 的 进一步 描述 。 软 件 缺 陷 报告 应 
当 考 虑 开发 人 员 会 如 何 调试 这 个 缺陷 ， 尽 可 能 提供 对 重 现 这 个 缺陷 有 帮助 的 跟踪 、 截 图 、 日 志 
等 信息 。 另 一 方面 ， 可 以 通过 附件 信息 进一步 证 明 缺 陷 的 存在 ， 提 供 可 以 说 服 开发 人 员 的 期 望 
结果 和 实际 结果 之 间 的 偏差 信息 。 
附件 信息 可 以 包括 以 下 一 些 内 容 : 
e 再 次 描述 重点 的 补充 信息 ， 避 免 开 发 人 员 将 缺陷 退回 。 
。 截取 缺陷 特征 的 图 像 文件 。 
软件 在 多 个 平台 之 间 是 否 具有 不 同 表现 的 说 明 。 
说 明 缺 陷 的 具体 影响 范围 。 
测试 附加 的 打印 机 驱动 程序 。 
指明 缺陷 是 否 在 前 一 版 本 已 经 存在 。 
。 与 缺陷 相关 的 需求 和 设计 文档 内 容 。 
5) 使 用 中 性 语言 
使 用 中 性 语言 是 指 客观 地 描述 缺陷 问题 。 用 带 有 感情 色彩 的 语句 报告 缺陷 除了 造成 研发 团 
队 的 沟通 障碍 和 协作 困难 外 ， 对 修改 缺陷 没有 任何 好 处 。 应 当 注 意 如 下 情况 : 
e 对 缺陷 不 做 主观 评价 ， 不 带 有 个 人 观点 ， 不 对 开发 人 员 的 业务 水 平 进行 评价 ， 不 对 软 
件 的 质量 优 劣 做 任何 主观 性 强烈 的 批评 或 嘲讽 。 
e 避免 使 用 情绪 化 的 语言 和 强调 符号 ， 例 如 黑体 、 全 部 字母 大 写 、 和 斜体、 感叹 号 、 问 号 
等 ， 只 要 客观 地 反映 出 缺陷 的 现象 和 完整 信息 即 可 。 
e 不 在 软件 缺陷 报告 中 包含 自 认 为 比较 幽默 的 内 容 ， 因 为 不 同 读者 的 文化 和 观念 不 同 
很 多 幽默 内 容 在 别人 看 来 ， 往 往 难 以 准确 理解 ， 甚 至 可 能 引起 误解 ， 只 需要 客观 地 描 
述 缺 陷 的 信息 即 可 。 
综述 所 述 ， 提 高 软件 缺陷 报告 的 编写 水 平 是 一 个 不 断 积累 经 验 、 循 序 渐进 的 过 程 。 测 试 人 
员 在 正式 提交 软件 缺陷 报告 前 ， 应 当 对 软件 缺陷 报告 的 内 容 和 格式 进行 再 次 检查 ， 避 免 不 必 要 
的 错误 。 总 的 来 讲 ， 一 些 需要 重点 检查 的 内 容 如 下 
e 软件 缺陷 报告 是 否 已 经 包含 完整 、 准 确 、 必 要 的 信息 。 
软件 缺陷 报告 中 是 否 同 时 报告 了 多 个 缺陷 。 
使 用 者 是 否 能 容易 地 搜索 缺陷 。 
通过 步骤 描述 是 否 可 以 完全 重 现 缺陷 。 
是 否 包含 重 现 缺 陷 所 需要 的 环境 信息 和 测试 所 用 的 必要 数据 说 明 。 
缺陷 标题 是 按照 原因 与 结果 的 方式 书写 。 
实际 结果 和 预期 结果 是 否 已 经 描述 清楚 。 


6.2.4 ”分离 和 再 现 软件 缺陷 


为 了 保证 再 现 软件 缺陷 ， 除 了 需要 按照 已 经 介绍 过 的 描述 规则 来 描述 软件 缺陷 之 外 ， 还 要 
遵循 软件 缺陷 分 离 和 再 现 的 方法 。 在 测试 过 程 中 , 如 果 能 够 按照 绝对 相同 的 输入 条 件 进行 测试 ， 
就 能 够 重 现 相同 的 软件 缺陷 。 但 是 ， 获 得 绝对 相同 的 输入 条 件 有 时 是 很 困难 的 ， 涉 及 缺陷 发 生 
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时 的 操作 、 数 据 、 环 境 等 诸多 因素 ， 需 要 很 高 的 测试 技巧 和 经 验 ， 而 且 非 常 耗 时 。 分 离 和 再 现 
软件 缺陷 是 充分 体现 测试 人 员 测试 才能 的 地 方 ， 需 要 在 测试 工作 中 不 断 总 结 经 验 ， 才 能 准确 地 
找 出 缩小 问题 范围 的 具体 步骤 和 方法 。 

下 面 列 举 一 些 常用 的 分 离 和 再 现 软件 缺陷 的 方法 和 技巧 。 

1) 确保 所 有 的 步骤 都 被 记录 

测试 过 程 中 的 每 一 个 操作 步骤 、 每 一 件 事情 都 要 客观 、 准 确 地 记录 ， 遗 漏 任何 细节 步骤 或 
者 增加 多 余 步 又 都 可 能 导致 无 法 再 现 软件 缺陷 。 对 于 难以 重 现 的 缺陷 (例如 实际 使 用 时 由 难以 预 
料 的 用 户 操作 步骤 引发 的 缺陷 )， 有 时 需要 捕捉 详细 输入 步骤 ， 可 以 利用 录制 工具 确切 地 记录 用 
户 实际 执行 步骤 。 测 试 的 目标 是 保证 导致 软件 缺陷 的 全 部 细节 都 被 完整 地 记录 下 来 。 

2) 注意 特定 时 间 和 运行 条 件 

注意 软件 缺陷 是 否 只 在 特定 时 刻 出 现 ， 特 定时 刻 出 现 的 缺陷 与 这 一 时 刻 用 户 经 常 使 用 的 软 
件 功能 密切 相关 。 如 果 缺 陷 只 在 特定 时 刻 出 现 ， 可 以 快速 查询 日 志文 件 中 的 相关 信息 ， 分 析 缺 
陷 产生 原因 。 此 外 ,还 需要 注意 缺陷 是 否 只 在 特定 运行 条 件 下 出 现 ,例如 只 在 网 络 繁忙 时 出 现 、 
只 在 较 差 的 硬件 设备 上 出 现 等 。 

3) 注意 边界 条 件 、 内 存 容量 和 数据 溢出 问题 

一 些 与 边界 条 件 、 内 容 容量 和 数据 溢出 相关 的 软件 缺陷 经 常 在 执行 一 段 时 间或 一 定数 量 的 
测试 后 才 会 显露 出 来 。 例 如 ， 执 行 某 个 测试 可 能 会 导致 产生 缺陷 的 数据 被 覆盖 ， 只 有 再 次 使 用 
该 数据 时 缺陷 才 会 再 现 ; 重启 计算 机 后 软件 缺陷 消失 ， 当 执行 其 他 测试 之 后 又 出 现 问题 。 出 现 
这 类 问题 后 需要 动态 跟踪 、 查 看 之 前 的 测试 ， 确 定 是 否 有 此 类 问题 发 生 。 

4) 注意 事件 发 生 次 序 导致 的 软件 缺陷 

在 消息 和 事件 驱动 的 软件 系统 中 ， 软 件 单元 (例如 某 个 对 象 ) 在 不 同 状态 下 对 同一 消息 的 反 
映 不 同 ， 因 此 一 些 缺 陷 只 有 在 特定 软件 状态 下 才 会 表现 出 来 。 例 如 ， 缺 陷 只 在 软件 功能 第 一 次 
运行 之 后 出 现 ， 或 者 只 在 运行 某 一 功能 之 后 出 现 。 这 类 缺陷 主要 与 事件 发 生 的 次 序 相关 ， 而 与 
事件 发 生 的 时 间 无 关 。 

5) 考虑 软件 与 其 计算 环境 的 相互 作用 

一 些 缺陷 的 产生 与 软件 系统 的 软 硬 件 环境 相关 ， 需 要 注意 软件 缺陷 是 否 只 在 特定 配置 的 软 
硬件 平台 上 出 现 , 是 否 在 某 项 软 硬 件 配置 变化 后 才 出 现 , 是 否 在 与 第 三 方 软件 交互 时 才 出 现 等 。 

6) 不 能 忽视 硬件 

软件 运行 问题 有 时 是 由 硬件 故障 造成 的 ， 需 要 注意 硬件 性 能 降低 、CPU 过 热 、 板 卡 松动 、 
内 存 条 损坏 等 硬件 问题 。 测 试 人 员 可 以 设法 在 不 同 硬件 上 运行 软件 系统 ， 验 证 软件 缺陷 是 否 重 
现 ， 通 过 硬件 兼容 性 测试 判定 软件 缺陷 是 在 一 个 系统 上 还 是 在 多 个 系统 上 发 生 。 

测试 人 员 有 时 确实 无 法 准确 地 给 出 缺陷 重 现 步 又， 此 时 仍然 需要 尽 可 能 详细 地 记录 和 报告 
软件 缺陷 ， 同 时 有 必要 取得 开发 人 员 的 帮助 ， 共 同 探讨 分 离 和 重 现 缺 陷 的 方法 。 由 于 开发 人 员 
熟悉 自己 的 程序 代码 和 程序 逻辑 结构 ， 通 过 分 析 测 试 步骤 和 缺陷 表现 ， 经 常 能 够 更 为 快速 地 得 
到 查找 缺陷 的 线索 。 因 此 ， 软 件 缺陷 的 分 离 和 再 现 有 时 需要 项 目 组 成 员 的 集体 智慧 ， 通 过 共同 
协作 找到 解决 问题 的 办 法 。 
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软件 缺陷 的 生命 周期 与 处 理 流程 


软件 缺陷 的 生命 周期 是 指 软件 缺陷 从 发 现 到 最 终 被 确认 修复 的 完整 过 程 。 在 这 一 过 程 中 
软件 缺陷 会 经 历 不 同 的 状态 。 和 典型 的 软件 缺陷 生命 周期 会 经 历 如 下 状态 改变 。 
e 提交 一 打开 : 测试 人 员 提 交 发 现 的 软件 缺陷 ， 开 发 人 员 确认 后 准备 修复 。 
e 打开 一 修复 :开发 人 员 修 复 缺陷 后 通知 测试 人 员 进 行 修复 结果 验证 。 
e 验证 一 重新 打开 : 测试 人 员 执 行 回归 测试 ， 验 证 测试 结果 后 认为 缺陷 没有 完全 被 修复 ， 
再 次 打开 缺陷 等 待 开发 人 员 重 新 进一步 修复 。 
e 验证 一 关闭 : 测试 人 员 执行 回归 测试 ， 确 认 缺 陷 已 经 得 到 修复 ， 然 后 将 缺陷 状态 设 为 
最 后 的 关闭 状态 。 
为 了 合理 安排 缺陷 修复 工作 ， 避 免 遗漏 任何 一 个 缺陷 ， 需 要 规划 软件 缺陷 的 处 理 流程 。 对 
于 不 同 的 软件 企业 和 软件 项 目 ， 缺 陷 处 理 流程 不 尽 相同 ， 一 般 根 据 实际 情况 进行 灵活 设置 。 上 
述 典 型 软件 缺陷 生命 周期 的 处 理 流程 如 图 6-2 所 示 。 


提交 缺陷 报告 


分 配 缺 陷 修复 任务 


处 理 缺 陷 报告 


验证 
修复 结果 


关闭 缺陷 报告 
6-2 ”典型 软件 缺陷 生命 周期 的 处 理 流程 


实际 工作 中 ， 缺 陷 处 理 流程 不 可 能 像 典 型 处 理 流程 这 样 简单 ， 会 面临 各 种 特殊 的 情况 ， 造 
成 软件 缺陷 的 生命 周期 更 为 复杂 。 需 要 考虑 如 下 一 些 实际 情况 。 

e 开发 人 员 认 为 测试 人 员 提交 的 软件 缺陷 不 是 真正 的 缺陷 或 是 微不足道 。 这 种 情况 经 常 
发 生 ， 需 要 测试 人 员 、 开 发 人 员 甚至 项 目 经 理 共同 讨论 后 予以 确定 。 

e 缺陷 被 不 同 测试 人 员 重 复 提交 。 

。 测试 人 员 验 证 缺陷 的 修复 结果 后 ， 认 为 缺陷 仍然 存在 或 者 没有 达到 预期 的 修复 效果 ， 
因而 重新 将 缺陷 设置 为 打开 状态 。 

e 缺陷 优先 级 比较 低 ， 项 目 研发 周期 有 限 ， 产 品 发 布 在 即 ， 缺 陷 可 以 推迟 到 下 一 版 本 中 
进行 处 理 。 

e 软件 产品 即将 更 新 换代 ， 而 修复 某 一 缺陷 的 风险 过 大 ， 可 能 会 造成 更 多 的 问题 ， 经 项 
目 管理 人 员 同 意 后 可 以 不 必修 复 。 
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e 被 推迟 修复 的 软件 缺陷 被 证 实 很 严重 ， 需 要 立即 予以 修复 ， 软 件 缺陷 的 状态 被 设置 为 
重新 打开 。 
由 上 述 情况 可 见 ， 缺 陷 的 处 理 过 程 实际 上 是 比较 复杂 的 ， 会 出 现 对 缺陷 修复 与 否 和 修复 结 
果 是 否 满足 要 求 的 不 同意 见 。 因 此 ， 需 要 事先 规定 好 对 缺陷 状态 的 设置 权限 ， 例 如 规定 只 有 项 
目 经 理 才 有 权 决 定 是 否 可 以 对 某 一 缺陷 推迟 修复 ,只 有 测试 人 员 才 能 决定 是 否 关闭 某 一 缺陷 等 。 
一 旦 发 现 缺 陷 ， 就 需要 明确 后 期 相关 人 员 的 工作 职责 ， 跟 踪 软 件 缺陷 的 生命 周期 ， 直 到 缺陷 最 
终 得 到 正确 处 理 。 
图 6-3 是 考虑 上 述 特 殊 情 况 后 的 缺陷 处 理 流程 ， 可 以 在 实际 工作 中 予以 参考 。 从 以 上 说 明 
可 以 理解 ， 软 件 缺 陷 除 了 常见 的 提交 、 打 开 、 修 复 和 关闭 状态 外 ， 还 包括 拒绝 、 验 证 、 审 查 、 
推迟 、 保 留 、 重 新 打开 等 附加 状态 。 


开始 


提交 和 打开 


并 要 求 补充 信息 


正常 修复 (Fixed) 


无 法 重 现 缺 陷 重新 打开 (Reopen) 


RE > 未 修复 


推迟 到 下 一 版 本 
设置 缺陷 为 延期 已 修 振 
状态 (Deferred) 关闭 (Closed) 


图 6-3 更 新 后 的 缺陷 处 理 流程 


在 软件 缺陷 的 整个 生命 周期 中 ， 测 试 人 员 、 开 发 人 员 和 项 目 管理 人 员 都 需要 紧密 地 协同 配 
合 ， 将 缺陷 置 于 严格 监控 之 中 ， 确 保 每 个 缺陷 都 得 到 及 时 和 有 效 的 处 理 。 对 于 缺陷 数量 只 在 几 
十 个 范围 内 的 小 型 软件 项 目 ， 用 Excel 制作 的 软件 缺陷 报告 模板 就 可 以 应 对 。 但 是 对 于 大 型 软 
件 项 目 ， 要 追踪 和 管理 成 百 上 千 个 状态 不 断 变化 的 软件 缺陷 ， 必 须 使 用 合适 的 缺陷 管理 工具 。 

缺陷 管理 工具 属于 测试 管理 类 工具 ， 相 比 其 他 测试 类 工具 ， 学 习 和 使 用 都 较为 简单 。 一 般 
的 测试 管理 工具 都 包含 基本 的 缺陷 管理 功能 ， 常 用 的 有 QC、 禅 道 、Mantis、JIRA、TestLink、 
Bugzilla 等 。 使 用 这 些 缺陷 管理 工具 的 优势 体现 在 以 下 一 些 方面 。 

。 强大 的 检索 功能 和 安全 的 审核 机 制 。 由 于 具有 后 台数 据 库 支持 ， 缺 陷 的 检索 、 增 加 、 

修改 、 保 存 都 很 方便 ， 并 且 能 够 对 附件 进行 有 效 管理 。 通 过 权限 设置 ， 将 缺陷 操作 权 
限 与 缺陷 状态 相对 应 ， 保 证 修改 、 删 除 等 缺陷 操作 的 安全 性 。 
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e 支持 项 目 组 成 员 间 的 协同 工作 。 通 过 友好 的 网 络 用 户 界面 以 及 E-mail 等 丰富 多 样 的 配 
置 设 定 ， 支 持 项 目 组 各 类 成 员 及 时 了 解 缺陷 状态 的 变化 情况 ， 进 而 根据 对 应 状态 合理 
地 安排 自己 的 工作 ， 提 高 发 现 和 改正 缺陷 的 效率 。 

e 提高 软件 缺陷 报告 的 质量 。 保 证 软件 缺陷 报告 的 完整 性 和 一 致 性 ， 正 确 和 完整 地 填写 
软件 缺陷 报告 中 的 各 项 内 容 ， 保 证 不 同 测试 人 员 提交 的 测试 报告 格式 统一 。 


[到 软件 测试 的 评估 


在 软件 测试 执行 过 程 中 ， 需 要 阶段 性 地 总 结 和 分 析 测 试 结果 ， 确 保 测试 过 程 的 有 效 性 。 在 
软件 验收 和 发 布 之 前 ， 测 试管 理 人 员 需 要 对 整个 测试 过 程 和 结果 做 出 系统 性 的 评价 ， 评 估 测 试 
的 完成 度 是 否 达到 测试 计划 规定 的 目标 、 软 件 的 质量 是 否 满足 用 户 需求 和 设计 要 求 ， 最 终 决定 
能 否 将 软件 交付 用 户 验收 或 者 最 终 发 布 。 测 试 评估 贯穿 整个 测试 过 程 ， 可 以 作为 每 个 测试 阶段 
的 里 程 碑 ， 也 可 以 在 某 一 重要 的 测试 节点 进行 。 


6.4.1 测试 评估 的 目的 和 方法 


软件 测试 的 评估 主要 有 以 下 目的 : 

e 对 测试 的 进展 情况 进行 量化 分 析 ， 确 定 测试 和 缺陷 修复 工作 的 当前 状态 、 效 率 和 完成 
度 ， 判 断 测试 工作 可 以 结束 的 时 间 。 

e 为 最 后 完成 测试 报告 或 软件 质量 分 析 报 告 提供 量化 分 析 数 据 ， 例 如 给 出 测试 覆盖 率 和 
缺陷 清除 率 等 。 

e 分 析 软 件 研发 各 阶段 的 不 足 之 处 ， 找 出 测试 和 开发 工作 中 的 薄弱 环节 ， 为 过 程 监督 、 
质量 控制 和 过 程 改进 提供 定量 化 依据 。 

从 以 上 内 容 可 以 看 出 ， 测 试 评估 强调 定量 化 分 析 ， 是 以 定量 化 的 分 析 结 果 科 学 地 评价 测试 

工作 和 软件 质量 ， 为 软件 过 程 管 理 提供 依据 。 测 试 评估 主要 包括 以 下 两 种 方法 。 

。 覆盖 率 评估 。 评 估 测 试 的 覆盖 率 ， 对 测试 完成 程度 进行 评测 。 最 常见 的 覆盖 率 评估 分 
为 需求 覆盖 率 评估 和 代码 覆盖 率 评估 。 

。 质量 评估 。 测 试 过 程 中 产生 的 软件 缺陷 报告 提供 了 最 佳 的 软件 质量 评估 数据 ， 通 过 缺 
陷 分 析 可 以 对 软件 的 可 靠 性 、 稳 定性 等 进行 详细 分 析 ， 对 软件 的 性 能 进行 多 方面 的 评 
测 ， 获 得 反映 软件 质量 特征 的 多 种 指标 数据 ， 在 此 基础 上 确定 软件 质量 与 需求 的 相符 
程度 。 


6.4.2 ”覆盖 率 评估 


覆盖 率 是 一 种 常见 的 反映 测试 充分 性 和 完成 度 的 定量 化 指标 。 测 试 活动 已 验证 过 的 软件 区 
域 越 多 ， 软 件 质量 得 到 保障 的 可 能 性 越 大 ， 测 试 工作 也 越 接近 完成 。 因 此 ， 通 过 测试 覆盖 率 可 
以 间接 地 反映 测试 工作 的 质量 和 当前 软件 代码 的 质量 。 测 试 覆盖 又 分 为 需求 覆盖 和 代码 覆盖 两 
个 方面 。 

需要 注意 的 是 ， 对 于 测试 覆盖 率 的 评估 需要 在 软件 开发 过 程 中 持续 进行 。 对 于 代码 的 测试 
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覆盖 主要 运用 于 早期 测试 执行 阶段 ， 如 单元 测试 和 集成 测试 。 对 于 需求 的 覆盖 主要 运用 于 后 期 
测试 执行 阶段 ， 如 系统 测试 和 验收 测试 。 各 阶段 覆盖 的 重点 不 同 ， 代 码 的 覆盖 结果 又 会 影响 到 
需求 的 覆盖 结果 。 因 此 ， 需 要 及 时 了 解 测试 覆盖 状况 ， 通 过 补充 和 修改 测试 用 例 以 查 漏 补缺 ， 
保证 测试 的 整体 质量 。 如 果 只 在 测试 结束 后 进行 覆盖 率 统计 分 析 ， 则 很 可 能 对 软件 质量 产生 严 
重 影响 。 


1. 需求 覆盖 率 


对 需求 的 全 面 覆 盖 是 软件 测试 的 基本 要 求 ， 需 求 覆 盖 率 是 测试 到 的 功能 和 非 功能 需求 占 整 
个 需求 总 数 的 百分比 。 评 估 需 求 覆 盖 率 的 最 直观 方法 是 首先 确定 需求 说 明 中 有 多 少 功能 点 ， 需 
要 注意 的 是 ， 这 里 所 说 的 功能 点 既 包括 功能 需求 也 包括 性 能 等 非 功能 需求 ， 然 后 确定 测试 用 例 
覆盖 了 多 少 模块 和 多 少 个 功能 点 ， 已 测 功 能 点 和 全 部 功能 点 的 比值 就 是 需求 覆盖 率 。 

由 于 测试 计划 和 测试 用 例 在 设计 时 已 经 考虑 了 对 需求 的 覆盖 , 因此 一 般 可 以 通过 已 计划 的 、 
已 实施 的 或 成 功 完成 的 测试 用 例 的 执行 率 来 衡量 需求 覆盖 率 ， 有 时 也 可 以 通过 测试 需求 的 覆盖 


率 来 衡量 。 
测试 评估 中 ， 通 常 使 用 以 下 三 个 公式 来 计算 需求 的 测试 覆盖 率 
计划 的 测试 覆盖 率 =TpzRh (6-1) 
已 执行 的 测试 覆盖 率 =TwRA (6-2) 
成 功 执行 的 测试 覆盖 率 =7TYBRy (6-3) 


上 述 三 个 公式 中 ，R# 是 测试 需求 的 总 数 ，Z 是 用 测试 过 程 或 测试 用 例 表示 的 计划 测试 需求 
数 ， 区 .是 用 测试 过 程 或 测试 用 例 表 示 的 已 执行 测试 需求 数 ， 工 是 用 完全 成 功 、 没 有 缺陷 或 意外 
结果 的 测试 过 程 或 测试 用 例 表示 的 已 执行 测试 需求 数 。 通 过 上 述 三 种 需求 覆盖 率 指标 可 以 评估 
剩余 测试 的 工作 量 ， 确 定 测试 工作 的 完成 时 间 。 

分 析 测 试 需求 的 覆盖 率 需要 借助 手工 分 析 的 方法 完成 ， 要 求 对 软件 需求 进行 完全 分 类 。 例 
如 ， 确 定 所 有 的 性 能 需求 后 要 求 对 性 能 需求 达到 95% 以 上 的 覆盖 率 。 一 种 较为 通用 的 需求 覆盖 
标准 是 测试 用 例 的 执行 率 要 达到 100%， 即 所 有 的 测试 用 例 都 要 执行 一 遍 ， 测 试用 例 的 通过 率 
要 达到 95% 以 上 。 


2. 代码 覆盖 率 


代码 覆盖 率 是 指 所 测试 的 源 代码 数量 占 代码 总 数 的 百分比 。 代 码 覆 盖 率 反映 了 测试 用 例 对 
被 测 软件 代码 的 覆盖 程度 ， 也 是 衡量 测试 工作 进展 情况 的 重要 定量 化 指标 。 

在 前 面 讲解 白 盒 测 试 技术 时 就 已 经 介绍 过 语句 覆盖 、 判 定 覆盖 、 条 件 覆 盖 、 路 径 覆 盖 等 概 
念 ， 对 这 些 罗 辑 履 盖 测试 用 例 的 测试 结果 进行 量化 就 可 以 得 到 相应 的 语句 覆盖 率 、 路 径 覆 盖 率 
等 代码 覆盖 率 指标 。 因 此 可 知 ， 语 句 覆 盖 率 虽然 是 最 简单 、 常 用 的 一 种 代码 覆盖 率 ， 但 只 是 许 
多 代码 覆盖 率 指标 中 的 一 种 。 一 种 比较 通用 的 代码 覆盖 标准 是 ， 关 键 模 块 的 语句 覆盖 率 要 达到 
100%， 分 支 覆 盖 率 要 达到 85% 以 上 。 

很 明显 ， 代 码 覆 盖 率 与 单元 测试 密切 相关 ， 是 单元 测试 用 例 是 否 充分 的 重要 衡量 指标 。 任 
何 未 经 测试 的 程序 代码 都 可 能 存在 潜在 缺陷 ， 因 此 在 实际 测试 前 就 应 当 根据 程序 规格 说 明 、 具 
体 代 码 、 规 定 的 代码 覆盖 率 要 求 设计 出 合理 数量 的 测试 用 例 。 
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与 手工 分 析 需 求 履 盖 率 不 同 ， 一 般 需 要 借助 相应 的 工具 来 统计 代码 覆盖 率 。 代 码 覆 盖 率 工 
具 与 具体 的 编程 语言 有 关 ， 下 面 列举 一 些 常用 编程 语言 的 代码 覆盖 率 分 析 工 具 。 
® CIC++: CUnit、CppUnit、Google GTest 、gcctgcov+lcov 等 。 
Java : Clover、EMMA、JaCoCo、Jtest、Maven Cobertura 插件 等 。 
JavaScript: JSCoverage。 
Python: PyUnit+ Coveragepy。 
PHP: PHPUnit+ XDebug。 
® Ruby: RCov。 
通过 代码 覆盖 率 分 析 工 具 可 以 统计 已 完成 测试 和 未 完成 测试 的 代码 量 ， 将 覆盖 率 结果 与 源 
代码 关联 ， 生 成 全 面 的 代码 覆盖 率 报告 ， 便 于 评估 测试 进度 ， 进 一 步 完善 测试 用 例 。 
代码 覆盖 率 在 实际 应 用 中 存在 着 一 些 误区 ， 主 要 反映 在 以 下 两 个 方面 。 
1) 片面 追求 高 代码 覆盖 率 
满足 具体 软件 项 目 所 规定 的 代码 覆盖 率 是 对 测试 工作 的 基本 要 求 ， 但 是 保证 已 经 测试 过 的 
代码 的 质量 更 为 重要 。 对 于 代码 覆盖 率 的 提升 应 当 基 于 风险 分 析 的 方法 ， 应 当 首 先 保证 对 关键 
模块 代码 的 测试 覆盖 ， 并 确保 彻底 修复 所 发 现 的 软件 缺陷 。 只 有 通过 风险 分 析 ， 才 能 确定 每 一 
次 提升 代码 覆盖 率 的 实际 价值 。 例 如 , 覆盖 率 从 60% 提 升 至 70% 当 然 很 好 , 但 是 将 覆盖 率 从 95% 
提升 至 100% 到 底 要 付出 多 大 的 代价 ”从 软件 质量 提升 方面 能 够 获得 多 大 的 收益 ? 这 些 问 题 离 
开 了 风险 分 析 很 难 获知 。 因 此 ， 需 要 以 工程 化 的 思想 考虑 测试 进度 、 测 试 质量 和 测试 成 本 的 关 
系 ， 评 估 好 代码 覆盖 率 测试 工作 的 实际 价值 。 
2) 认为 100% 的 代码 覆盖 率 就 能 够 保证 软件 质量 
实际 上 ， 即 使 测试 所 有 的 软件 代码 ， 也 仍然 不 能 保证 软件 完全 满足 用 户 需求 和 软件 设计 要 
求 ， 也 不 能 代表 测试 覆盖 率 很 高 。 例 如 ， 代 码 遗 漏 了 应 当 实现 的 功能 或 者 所 实现 的 功能 与 用 户 
需求 不 符 ， 这 类 需求 问题 很 难 通过 代码 覆盖 率 来 发 现 。 针 对 代码 的 测试 可 以 发 现代 码 与 设计 不 
匹配 的 问题 ， 但 却 不 能 证 明 设 计 是 否 满足 需求 ， 而 需求 覆盖 率 却 能 够 显示 需求 被 满足 的 程度 。 
因此 , 代码 覆盖 和 需求 覆盖 是 两 种 相辅相成 的 覆盖 测试 策略 , 在 测试 过 程 中 需要 综合 予以 应 用 。 
综合 以 上 说 明 ， 可 以 进一步 理解 代码 覆盖 率 的 实际 意义 
。 度量 测试 工作 的 完成 度 ， 为 确定 何 时 可 以 结束 测试 提供 依据 。 
e 确定 没有 被 测试 覆盖 到 的 代码 ， 从 而 检验 前 期 测试 设计 是 否 充 分 ， 是 否 存在 测试 盲点 。 
思考 为 什么 在 用 例 设 计时 没有 覆盖 这 部 分 代码 ， 是 需求 分 析 不 够 准确 、 测 试 设计 有 误 ， 
还 是 从 工程 实际 情况 和 测试 成 本 考虑 进行 了 策略 性 放弃 等 ， 然 后 有 针对 性 地 补充 测试 
用 例 。 
e 检测 出 程序 中 的 错误 和 无 用 代码 ， 促 使 程序 设计 和 开发 人 员 理 清 代码 逻辑 关系 ， 提 升 
代码 质量 。 
。 作为 检验 软件 质量 的 辅助 指标 。 代 码 覆 盖 率 高 并 不 能 说 明 软 件 质 量 高 ， 但 是 代码 覆盖 
率 低 ， 软 件 质 量 也 不 可 能 得 到 有 效 保障 。 


6.4.3 ”质量 评估 
软件 是 否 满足 用 户 需求 最 终 决定 了 软件 的 质量 ， 软 件 缺 陷 反 映 了 软件 与 需求 的 偏差 ， 因 此 
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测试 工作 中 一 般 通过 分 析 软 件 缺 陷 来 评估 软件 的 质量 。 缺 陷 分 析 是 软件 质量 评估 的 一 种 重要 手 
段 ， 缺 陷 分 析 指 标 可 以 看 作 度 量 软件 质量 的 重要 指标 。 

虽然 缺陷 分 析 本 身 并 不 能 发 现 或 清除 缺陷 ， 但 是 通过 缺陷 分 析 可 以 从 软件 研发 全 局 角度 把 
握 软件 质量 ， 提 高 发 现 和 清除 缺陷 的 准确 性 和 效率 。 缺 陷 分 析 本 质 上 是 对 缺陷 包含 的 各 种 信息 
进行 分 类 、 汇 总 和 统计 分 析 ， 通 过 分 析 结 果 不 仅 能 够 了 解 软 件 的 当前 质量 状况 、 缺 陷 集中 的 区 
域 ， 而 且 能 够 明确 缺陷 的 变化 趋势 ， 评 估 出 软件 开发 和 测试 过 程 中 各 阶段 的 工作 质量 。 在 一 个 
软件 企业 中 ， 通 过 坚持 进行 缺陷 分 析 和 评估 ， 可 以 不 断 积 累 科学 、 准 确 的 软件 产品 质量 数据 ， 
有 效 地 改进 软件 过 程 管理 水 平 。 

软件 缺陷 分 析 和 评估 有 很 多 种 方法 , 从 简单 的 缺陷 数量 统计 到 复杂 的 基于 数学 模型 的 分 析 。 
常用 的 缺陷 分 析 方法 主要 包括 缺陷 趋势 分 析 、 缺 陷 分 布 分 析 、 缺 陷 注 入 -发 现 矩 阵 分 析 ， 下 面 分 
别 对 上 述 3 种 方法 进行 详细 介绍 。 


1. 缺陷 趋势 分 析 


缺陷 趋势 分 析 是 根据 缺陷 数量 随时 间 变化 的 情况 ， 分 析 和 监控 开发 与 测试 的 进展 状况 与 质 
量 ， 预 测 未 来 软件 研发 工作 情况 。 

1) 缺陷 发 现 率 与 测试 里 程 碑 

单位 时 间 内 发 现 的 缺陷 数量 称 为 缺陷 发 现 率 ， 图 6-4 反映 了 一 般 情况 下 缺陷 发 现 率 与 测试 
成 本 之 间 的 关系 。 测 试 初期 ， 随 着 测试 工作 的 展开 ， 新 发 现 的 缺陷 数量 快速 增加 ， 缺 陷 发 现 率 
呈 递 增 趋势 。 当 发 现 的 缺陷 数量 达到 一 定 程度 后 ， 缺 陷 发 现 率 开始 呈现 不 断 下 降 的 趋势 。 随 着 
时 间 的 增长 ， 发 现 潜 在 缺陷 的 难度 越 来 越 大 ， 测 试 成 本 不 断 提 高 。 测 试 后 期 ， 测 试 成 本 呈现 指 
数 级 递增 趋势 。 因 此 ， 从 工程 管理 的 角度 出 发 ， 可 以 将 上 述 两 条 趋势 线 的 交汇 点 作为 产品 发 布 
日 期 的 估计 点 。 


新 发 现 的 缺陷 


软件 发 布 日 期 


测试 时 间 
图 64 缺陷 发 现 率 与 测试 成 本 


从 上 述说 明 可 知 ， 缺 陷 发 现 率 可 以 作为 产品 发 布 的 重要 度量 。 实 际 工作 中 可 以 设置 闵 值 ， 
当 缺 陷 发 现 率 低 于 阔 值 时 就 提示 可 以 发 布 产品 。 当 然 ， 测 试用 例 和 测试 资源 不 足 也 会 引起 缺陷 
发 现 率 的 降低 ， 产 品 发 布 决策 并 不 会 单纯 依赖 缺陷 发 布 率 。 缺 陷 发 现 率 在 这 里 更 多 体现 的 是 对 
测试 时 间 和 成 本 的 考虑 ， 测 试 项 目 受 时 间 和 成 本 的 限制 不 可 能 追求 百分之百 完美 的 软件 产品 
否则 反而 会 带 来 不 必要 的 商业 竞争 和 成 本 控制 风险 。 

当然 ， 在 分 析 缺 陷 发 现 率 时 ， 除 了 不 加 区 别 地 统计 所 有 缺陷 数量 外 ， 还 可 以 细 化 分 析 具 有 
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各 种 关键 属性 的 软件 缺陷 的 变化 趋势 ， 体 现 出 对 软件 质量 的 综合 考虑 。 例 如 ， 分 析 严 重 程度 较 
高 的 或 是 属于 关键 模块 的 软件 缺陷 的 变化 趋势 ， 从 质量 控制 的 角度 评估 和 预测 软件 质量 的 变化 
博 况 。 

实际 工作 中 ， 缺 陷 发 现 率 的 变化 情况 并 不 会 像 图 6-4 中 的 那样 理想 ， 不 同 测试 阶段 的 缺陷 
发 现 能 力 不 同 ， 程 序 开发 和 缺陷 修复 的 效率 变化 情况 也 会 对 缺陷 发 现 率 产生 直接 影响 。 重 要 的 
是 通过 缺陷 趋势 分 析 及 时 掌握 软件 的 当前 状态 ， 合 理 制定 下 一 阶段 的 计划 。 图 6-5 是 微软 基于 
缺陷 趋势 图 的 里 程 碑 定义 ， 从 缺陷 趋势 图 可 以 找 出 “Bug 收敛 点 ”， 第 一 次 出 现 新 增 缺 陷 数量 
为 零 的 时 间 点 被 定义 为 “ 零 Bug 反弹 点 ”。 
「 Bug 收 和 敛 点 


零 Bug 反 弹 点 


部 涤 索 第 否 滞 水 避 


测试 时 间 


6-5 ”微软 基于 缺陷 趋势 图 的 里 程 碑 定义 


2) 缺陷 趋势 与 缺陷 处 理 质量 
缺陷 趋势 分 析 还 可 以 延伸 到 对 测试 质量 和 缺陷 修复 质量 的 分 析 。 通 过 分 析 和 对 比 新 增 缺 陷 、 
已 修复 缺陷 和 已 关闭 缺陷 的 变化 趋势 ， 可 以 了 解 测试 的 效率 和 开发 人 员 修 复 缺陷 的 效率 ， 找 出 
测试 延期 的 原因 ， 发 现 测试 瓶颈 。 分 析 的 周期 可 以 是 每 日 、 每 周 ， 或 是 在 一 定 的 测试 阶段 之 后 
进行 。 
为 了 获得 稳定 、 规 律 性 的 趋势 曲线 , 一 般 采 用 缺陷 累积 数量 进行 缺陷 处 理 质 量 分 析 , 图 6-6 
是 新 增 、 已 修复 和 已 关闭 缺陷 的 累计 数量 趋势 变化 对 比 图 ， 趋 势 曲 线 斜 率 的 大 小 反映 了 缺陷 的 
处 理 效率 。 理 想 情况 下 的 缺陷 趋势 图 表现 出 以 下 特点 。 
e ”由 于 缺陷 处 理工 作 的 关联 性 ， 三 条 曲线 的 趋势 变化 情况 相似 。 
e 因为 提交 缺陷 之 后 才能 进行 缺陷 修复 工作 ， 而 且 缺 陷 修复 和 验证 都 需要 一 定 的 时 间 ， 
所 以 三 条 趋势 曲线 之 间 存 在 一 定 的 延迟 时 间 。 
e 良好 的 缺陷 趋势 曲线 最 终 都 会 趋 于 稳定 ， 表 现 为 曲线 斜率 趋 近 于 零 ， 曲 线 接近 水 平 。 
当 三 条 曲线 都 收敛 到 一 个 点 时 ， 意 味 着 所 有 缺陷 修复 工作 都 已 完成 ， 可 以 发 布 软件 
产品 。 
e 从 累计 新 增 缺陷 趋势 曲线 来 看 ,，70% 以 上 的 缺陷 是 在 整个 测试 周期 的 中 前 期 发 现 的 。 测 
试 后 期 ， 甚 至 包括 回归 测试 在 内 的 新 增 缺陷 数量 非常 少 。 这 种 情况 可 以 说 明 测试 效率 
高 、 测 试 质量 好 ， 并 且说 明 开发 人 员 修 复 缺陷 的 正确 性 很 高 ， 修 复 缺 陷 后 引入 新 缺陷 
的 概率 很 低 。 


179 


Bug 收 敛 点 ,一 :一 -一 
we 一 


秘闻 去 第 十 油 


一 :一 累计 新 增 缺陷 。 一 一 累计 修复 缺陷 一 - 累计 关闭 缺陷 日 期 
图 6-6 新 增 、 已 修复 和 已 关闭 缺陷 的 累计 数量 趋势 变化 对 比 


实际 测试 工作 中 ， 通 过 绘制 、 分 析 和 对 比 上 述 趋 势 曲线 ， 可 以 获得 以 下 一 些 非常 有 价值 的 
有 关 开 发 和 测试 质量 的 信息 。 


2 


缺陷 越 早 被 发 现 ， 对 软件 质量 的 影响 越 小 ， 修 复 的 成 本 也 越 低 。 一 般 测试 初期 找到 缺 
陷 比 较 容 易 ， 越 往 后 越 难 。 因 此 ， 如 果 新 增 缺 陷 曲 线 开 始 的 斜率 比较 大 并 且 能 够 在 较 
短 的 时 间 内 趋 于 水 平 ， 则 表明 测试 效率 和 质量 都 比较 高 。 

缺陷 打开 与 关闭 的 时 间 差 决 定 了 软件 项 目的 进度 ， 这 一 时 间 差 当然 越 小 越 好 。 因 此 ， 
如 果 缺 陷 修复 曲线 紧 跟 在 新 增 缺陷 曲线 之 后 ， 说 明 开 发 人 员 处 理 缺 陷 的 响应 很 快 ， 修 
复 缺陷 效率 高 ， 如 果 缺 陷 关 闭 曲线 紧 跟 在 缺陷 修复 曲线 之 后 ， 说 明 缺 陷 修复 的 正确 性 
很 高 ， 绝 大 部 分 已 修复 缺陷 被 一 次 性 验证 通过 。 

如 果 新 增 缺陷 曲线 已 趋 于 平缓 ， 但 缺陷 修复 和 关闭 曲线 一 直 在 新 增 曲线 下 面 ， 说 明 缺 
陷 处 理 效率 过 低 ， 缺 陷 处 理 瓶 颈 在 开发 人 员 那 边 。 

当 新 开始 一 个 测试 阶段 时 ， 如 果 发 现 新 增 缺 陷 曲线 出 现 凸 起 ， 说 明 有 较 多 的 缺陷 在 之 
前 的 测试 阶段 未 被 发 现 ， 遗 留 到 了 本 阶段 ， 或 者 说 明之 前 的 缺陷 修复 引入 了 新 的 缺陷 ， 
需要 尽快 处 理 上 述 缺 陷 ， 稳 定 软件 质量 。 

实际 趋势 曲线 不 可 能 都 是 平滑 的 ， 当 发 现任 何 与 理想 曲线 存在 显著 差异 的 地 方 ， 都 意 
味 着 测试 与 开发 工作 出 现 了 某 种 问题 ， 例 如 测试 策略 错误 或 是 人 力 资 源 不 足 等 ， 需 要 
尽快 分 析 问 题 产生 的 原因 。 同 时 ， 分 析 结 果 为 今后 工作 中 进行 质量 改进 提供 了 非常 有 
价值 的 经 验 数 据 。 


缺陷 分 布 分 析 


缺陷 分 布 分 析 是 将 缺陷 数量 作为 一 个 或 多 个 缺陷 属性 的 函数 来 显示 ， 分 析 不 同类 型 的 缺陷 
对 软件 质量 的 影响 情况 ， 寻 找 测试 工作 的 薄弱 环节 。 例 如 ， 分 析 不 同 模块 中 缺陷 的 数量 、 不 同 
优先 级 或 严重 性 的 缺陷 在 整体 缺陷 数量 中 的 比例 、 缺 陷 的 具体 产生 原因 等 。 

对 缺陷 进行 分 类 统计 分 析 ， 常 用 的 缺陷 属性 有 以 下 4 种。 
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状态 : 新 提交 的 、 打 开 的 、 已 修复 的 、 已 关闭 的 当前 缺陷 状态 。 
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。 优先 级 ， 反 映 修复 缺陷 的 优先 顺序 。 

。 严重 性 :表示 缺陷 对 软件 产品 和 用 户 使 用 影响 的 恶劣 程度 。 

。 来 源 ， 导 致 缺陷 的 原因 及 其 来 源 位 置 

最 为 简单 的 缺陷 分 布 分 析 是 统计 已 发 现 的 缺陷 在 软件 主要 模块 中 的 分 布 情况 ， 如 图 6-7(a) 
所 示 。 分 析 的 结果 可 以 直观 和 清晰 地 表明 哪些 模块 中 的 缺陷 较 多 ， 根 据 缺 陷 二 八 定律 需要 在 后 
续 工作 中 重点 测试 这 些 模块 。 

需要 注意 的 是 ， 单 纯 的 缺陷 数量 并 不 能 决定 模块 的 质量 ， 应 当 采 用 缺陷 密度 以 更 为 准确 地 
评估 模块 代码 的 质量 ， 如 图 6-7(b) 所 示 。 缺 密度 是 用 平均 估算 法 来 度量 代码 的 质量 ， 一 般 通 
过 下 面 的 公式 进行 计算 ， 代 码 行 通常 以 二 行为 单位 。 

软件 缺陷 数量 
代码 行 或 功能 点 的 数量 


Cc D 四 | IA B C D E 
> > 


模块 名 称 模块 名 称 
(a) 模块 的 缺陷 数量 (a) 模块 的 缺陷 密度 
图 6-7 主要 功能 模块 缺陷 分 布 图 


软件 缺陷 密度 = 


] 
泽 红 可 第 


a| 同 


但 是 ， 仅 仅 考虑 缺陷 密度 对 软件 质量 的 影响 仍然 是 很 不 完善 的 ， 其 实质 仍然 是 只 单纯 度量 
缺陷 数量 因素 。 每 个 软件 缺陷 的 优先 级 不 同 ,对 修复 缺陷 的 紧迫 程度 要 求 不 同 ; 更 为 重要 的 是 ， 
每 个 缺陷 的 严重 程度 不 同 ， 对 软件 质量 的 影响 差异 很 大 。 因 此 ， 有 必要 在 统计 缺陷 数量 的 基础 
上 ， 对 缺陷 进行 “分 级 、 加 权 ” 处 理 ， 给 出 缺陷 在 各 优先 级 和 严重 性 级 别 上 的 分 布 作为 补充 度 
量 ， 这 就 要 求 在 软件 缺陷 报告 中 详细 记录 缺陷 的 优先 级 和 严重 性 信息 ， 以 便于 测试 评估 时 进行 
充分 的 统计 分 析 。 

图 6-8 是 缺陷 优先 级 分 布 图 ， 一 般 要 求 立 即 解决 和 高 优先 级 的 缺陷 数量 不 应 过 多 ， 和 否则 意 
味 着 缺陷 会 频繁 阻塞 测试 工作 的 正常 进行 ， 严 重 影响 测试 效率 。 


> 
立即 解决 ”高 优选 级 正常 低 优选 级 
图 6-8 软件 缺陷 优先 级 分 布 图 


对 于 缺陷 严重 性 ， 可 以 采用 加 权 的 方法 分 析 缺 陷 对 软件 质量 的 影响 ， 如 表 6-7 所 示 。 进 一 


吕 六 到 党 


181 


TT、 


步 ， 可 以 给 出 更 为 直观 的 严重 性 加 权 后 的 模块 缺陷 分 布 图， 如 图 6-9 所 示 。 
表 6-7 软件 缺陷 严重 等 级 权 值 与 缺陷 影响 


缺陷 严重 等 级 
致命 (Fatal) 
严重 (Critical) 
重要 (MajoD) 
较 小 (Minon) 


上 较 小 
从 2 重要 
权 毕 日 严重 
量 RR 入 致命 


SS 
模块 A 模块 B 模块 C 模块 D 
6-9 ”严重 性 加 权 后 的 模块 缺陷 分 布 图 


更 为 深入 的 ， 可 以 分 析 缺 陷 的 来 源 ， 也 就 是 统计 分 析 不 同类 型 缺陷 的 数量 ， 找 出 造成 软件 
缺陷 的 最 主要 原因 。 这 一 类 型 的 缺陷 分 布 分 析 有 助 于 使 测试 人 员 将 测试 注意 力 集中 到 那些 最 容 
易 产生 缺陷 的 软件 区 域 , 也 能 够 使 开发 人 员 在 今后 工作 中 更 有 针对 性 地 提高 代码 质量 .如 图 6-10 
所 示 ， 缺 陷 主要 来 源 于 需求 说 明 、 系 统 设 计 和 数据 库 ， 直 观 提示 这 些 软件 部 分 需要 更 为 深入 和 
细致 的 测试 。 


数据 库 19% 


系统 设计 14% 全 / 


需求 说 明 33% 
6-10 ”软件 缺陷 来 源 分 布 图 


除了 上 述 分 析 方 法 之 外 ， 还 可 以 分 析 缺 陷 的 根源 ， 找 出 导致 软件 缺陷 的 根本 原因 。 通 过 原 
因 归 类 能 够 反映 出 软件 开发 流程 中 需求 分 析 、 设 计 、 编 码 、 测 试 、 工 具 、 管 理 等 哪个 具体 环节 
最 为 薄弱 ， 根 据 分 析 结 果 评 估 技 术 团队 测试 能 力 和 开发 能 力 的 成 熟 度 ， 指 导 测 试 和 开发 过 程 的 
改进 。 还 可 以 根据 不 同 测试 阶段 、 不 同 模 块 执行 的 总 测试 用 例 数 以 及 发 现 的 缺陷 数 ， 计 算出 每 


接口 4% 


用 户 界面 11% 


程序 逻辑 15% 


编码 标准 4% 
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发 现 一 个 缺陷 所 需要 的 用 例 数 ， 以 此 评估 不 同 阶段 和 不 同 模块 的 测试 质量 与 效率 。 
3. 缺陷 注入 -发 现 矩 阵 分 析 


软件 缺陷 有 “注入 阶段 ”和 “发 现 阶段 ”两 个 阶段 。 注 入 阶段 即 缺陷 的 来 源 (Source) 阶 段 ， 
是 指 在 软件 开发 的 哪个 具体 阶段 造成 这 个 软件 缺陷 ; 而 发 现 阶段 是 缺陷 的 起 源 (Origin) 阶 段 ， 是 
指 在 开发 和 测试 过 程 中 第 一 次 发 现 该 缺陷 的 阶段 。 


根据 软件 缺陷 报告 中 缺陷 来 源 和 起 源 属性 , 可 以 构造 如 表 6-8 所 示 的 “缺陷 注入 -发 现 矩 阵 ” 
表 6-8 中 的 数字 代表 在 某 一 发 现 阶段 找到 并 清除 的 由 特定 注入 阶段 造成 的 软件 缺陷 数量 ， 例 如 
在 系统 测试 阶段 发 现 并 清除 16 个 编码 阶段 造成 的 缺陷 。 
1) 软件 缺陷 清除 率 
通过 “缺陷 注入 -发 现 矩 阵 ”， 可 以 计算 得 到 以 下 两 种 测试 评估 度量 指标 。 
阶段 缺陷 清除 率 =( 本 阶段 发 现 的 缺陷 数 /本 阶段 注入 的 缺陷 数 )*100% (6-5) 
阶段 缺陷 泄漏 率 =( 下 游 发 现 的 本 阶段 的 缺陷 数 /本 阶段 注入 的 缺陷 数 )*100% (6-6) 


阶段 缺陷 清除 率 反 映 的 是 某 一 软件 研发 阶段 的 缺陷 清除 能 力 ， 是 缺陷 密度 度量 的 扩展 ， 可 
以 评估 需求 评审 、 设 计 评 审 、 代 码 审 查 和 测试 的 质量 。 例 如 表 6-8 中 需求 分 析 阶 段 的 缺陷 清除 
率 是 12/37=32% ,设计 阶段 的 缺陷 清除 率 是 20/46=~43%, 编码 阶 段 的 缺陷 清除 率 是 105/167=63%。 
阶段 缺陷 泄漏 率 反映 的 是 本 阶段 质量 控制 措施 落实 的 成 效 ， 例 如 表 6-8 中 需求 分 析 阶 段 的 缺陷 
泄漏 率 是 (14+4+5+2)/37=68%6， 因 此 提示 研发 团队 需要 加 大 需求 评审 力度 。 缺 陷 发 现 阶段 和 注 
入 阶段 可 以 根据 软件 项 目 特点 进行 划分 ， 根 本 目的 是 评估 出 软件 开发 各 个 环节 的 质量 ， 找 出 薄 
弱 环 节 ， 从 而 有 针对 性 地 进行 过 程 改进 。 

同样 可 以 计算 整体 软件 缺陷 清除 率 。 设 E 为 描述 软件 规模 的 功能 点 数 ，D1 为 软件 开发 过 
程 中 发 现 的 所 有 缺陷 数 ，D2 为 软件 发 布 以 后 发 现 的 缺陷 数 ，D=D1+D2 为 发 现 的 缺陷 总 数 。 可 
以 通过 以 下 几 种 度量 方式 来 评估 软件 的 质量 。 


软件 质量 (每 个 功能 点 的 缺陷 数 )=D2/F (6-7) 
软件 缺陷 注入 率 =D/F*100% (6-8) 
整体 软件 缺陷 清除 率 =<D1/D*100% (6-9) 


例如 ， 某 个 软件 有 100 个 功能 点 , 开发 过 程 中 发 现 了 20 个 软件 缺陷 , 软件 发 布 后 又 发 现 了 
3 个 缺陷 ， 那 么 F-=100，D1=20，D2=-3，D=23。 由 上 述 公式 计算 可 得 : 

e 软件 质量 (每 个 功能 点 的 缺陷 数 )=D2/F=3/100=0.03 

e@ 软件 缺陷 注入 率 =D/F=23/100=23% 
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e 整体 软件 缺陷 清除 率 =D1/D=20/23=86.96% 

整体 软件 缺陷 清除 率 一 般 需要 达到 85% 以 上 ， 著 名 软件 公司 主流 产品 的 整体 软件 缺陷 清除 
率 可 以 达到 98%。 

2) 缺陷 潜伏 期 

软件 缺陷 被 发 现 的 时 间 越 晚 ， 带 来 的 损害 就 越 大 ， 修 复 的 成 本 也 会 越 高 。 缺 陷 潜伏 期 是 一 
种 特殊 类 型 的 缺陷 分 布 度量 ， 也 称 为 阶段 潜伏 期 ， 通 过 考查 缺陷 潜藏 在 软件 中 的 时 间 长 短 来 评 
估 测 试 发 现 缺陷 的 及 时 性 和 能 力 。 

为 了 体现 缺陷 潜伏 期 的 长 短 和 缺陷 的 损害 程度 ， 首 先 需要 给 “缺陷 注入 -发 现 矩 阵 ” 中 的 元 
素 赋予 合适 的 权 值 ， 如 表 6-9 所 示 。 例 如 ， 在 设计 阶段 评审 过 程 中 发 现 的 需求 缺陷 ， 其 阶段 潜 
伏 期 可 以 设 定 为 1; 而 如 果 这 个 缺陷 是 在 编码 和 单元 测试 阶段 发 现 的 ， 那 么 其 阶段 潜伏 期 为 2。 
其 他 权 值 设 定 依 此 类 推 ， 越 靠近 发 现 阶段 后 期 权 值 越 大 ， 越 靠近 注入 阶段 后 期 权 值 越 小 。 实 际 
工作 中 需要 根据 具体 阶段 划分 和 项 目 特点 对 权 值 大 小 进行 调整 。 


表 6-9 ”缺陷 潜伏 期 的 权 值 


之 前 表 6-8 所 示 的 “缺陷 注入 -发 现 矩 阵 ”已 经 明确 表示 了 缺陷 的 注入 时 间 、 发 现时 间 及 数 
量 ， 通 过 加 权 计 算 可 以 得 到 如 表 6-10 所 示 的 软件 缺陷 损耗 值 ， 表 6-10 中 的 数字 是 经 过 缺陷 潜 
伏 期 加 权 后 的 已 发 现 缺陷 的 数量 。 例 如 ， 表 6-8 显示 在 系统 测试 阶段 发 现 了 16 个 编码 错误 ， 表 
6-9 显示 对 应 权 值 为 2， 因此 表 6-10 中 对 应 矩阵 元 素 的 加 权 值 为 16X2=32， 其 他 元 素 值 的 计算 
方法 相同 。 


表 6-10 软件 缺陷 损耗 值 


表 6-10 中 显示 了 一 种 度量 指标 “缺陷 损耗 。 缺陷 损耗 综合 了 缺陷 潜伏 期 和 缺陷 分 布 因素 ， 
用 来 度量 缺陷 发 现 过 程 的 有 效 性 和 修复 缺陷 所 耗费 的 成 本 ， 计 算 公 式 如 下 : 


损耗 阶段 缺陷 数量 x 缺陷 潜伏 期 权 值 


(6-10) 


Re 缺陷 总 量 
例如 , 表 6-10 中 由 需求 分 析 缺 陷 造 成 的 缺陷 损耗 为 45/37=1.22, 45 是 加 权 求 和 后 的 损耗 总 
计数 值 , 37 是 表 6-8 中 总 共 发 现 的 需求 分 析 缺 陷 数 量 。 这 样 计算 产生 的 实际 上 是 阶段 缺陷 损耗 ， 
使 用 同样 的 原理 可 以 计算 整体 软件 的 缺陷 损耗 。 缺 陷 损耗 的 数值 越 低 ， 说 明 缺 陷 的 发 现 和 修复 
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过 程 越 有 效 。 当 把 发 现 和 注入 阶段 相同 时 的 缺陷 权 值 设 为 0 时， 理想 缺陷 损耗 的 数值 是 0， 也 
就 是 把 各 阶段 注入 的 缺陷 全 部 在 该 阶段 发 现 并 修复 了 。 通 过 积累 和 分 析 项 目 长 期 缺陷 损耗 的 历 
史 数 值 ， 可 以 度量 测试 有 效 性 的 改进 趋势 。 

综 上 所 述 ， 质 量 评估 通过 多 种 方法 和 度量 指标 来 评测 软件 的 可 靠 性 ， 并 指导 开发 和 测试 工 
作 改 进 的 方向 。 但 是 ， 这 些 度量 本 身 都 有 各 自 的 局 限 性 ， 在 测试 评估 中 需要 结合 覆盖 率 评 估 ， 
在 综合 分 析 的 基础 上 改进 软件 整体 质量 。 


6.4.4 性 能 评估 


通过 性 能 测试 可 以 获得 与 软件 性 能 表现 相关 的 各 方面 数据 ， 性 能 评估 就 是 基于 这 些 数据 分 
析 、 显 示 和 报告 软件 的 性 能 特征 。 性 能 评估 通常 与 性 能 测试 的 执行 过 程 结合 进行 ， 用 于 显示 性 
能 测试 的 进度 和 状态 ， 也 可 以 在 性 能 测试 完成 后 对 测试 结果 进行 统计 分 析 。 

主要 的 性 能 评估 包括 以 下 内 容 : 

(1) 动态 监测 。 在 测试 过 程 中 实时 获取 和 显示 被 测 软件 的 性 能 表现 、 状 态 、 用 例 执行 进度 
等 信息 ， 一 般 以 曲线 图 或 柱状 图 的 形式 表达 ， 用 来 监视 和 评估 性 能 测试 的 执行 情况 。 

(2) 响应 时 间或 乔 吐 量 。 用 曲线 图 等 显示 响应 时 间或 吞吐 量 随 系统 负载 变化 的 情况 ， 评 估 
被 测 软件 对 象 在 不 同 条 件 下 的 性 能 表现 。 除 了 显示 软件 的 实际 性 能 之 外 ， 还 可 以 统计 分 析 数 据 
的 平均 值 和 标准 差 ， 对 性 能 指标 的 稳定 性 做 出 评估 。 

(3) 百分比 报告 。 百 分 比 报告 用 于 计算 和 显示 各 种 百分比 值 ， 例 如 特定 条 件 下 软件 对 CUP、 
内 存 、 网 络 带宽 的 占用 百分比 。 

(4) 比较 报告 。 一 种 最 常用 的 评估 软件 性 能 的 形式 。 通 过 比较 不 同性 能 测试 的 运行 结果 ， 
评估 性 能 改进 措施 是 否 有 效 以 及 性 能 提升 的 程度 ， 分 析 不 同性 能 测试 结果 数据 集 之 间 的 差异 或 
趋势 。 

(5) 追踪 和 配置 文件 报告 。 追 踪 和 配置 文件 报告 能 够 显示 软件 运行 时 软件 单元 之 间 的 消息 、 
控制 流 、 数 据 流 、 时 序 等 关键 的 系统 底层 运行 信息 ， 通 过 这 些 信息 可 以 更 为 准确 地 定位 性 能 瓶 
颈 或 性 能 异常 等 情况 下 的 缺陷 位 置 ， 分 析 和 总 结 缺陷 产生 的 具体 原因 。 


[测试 总 结 报告 


在 完成 测试 评估 的 基础 上 就 可 以 着 手 编写 测试 总 结 报告 。 测 试 总 结 报告 是 为 了 总 结 和 评价 
测试 活动 的 结果 ， 分 析 和 讨论 软件 的 风险 和 质量 状态 ， 发 现 测试 工作 仍然 存在 的 不 足 之 处 ， 对 
测试 计划 的 完成 情况 进行 最 终 说 明 。 

在 IEEE 829-2008 标准 和 国家 标准 GB/T 9386-2008 中 都 给 出 了 测试 总 结 报告 的 编写 标准 ， 
两 者 实质 要 求 类 似 ， 都 要 求 给 出 实际 测试 与 测试 计划 的 差异 、 综 合 评估 、 测 试 结果 汇总 、 测 试 
项 总 体 评 价 、 结 论 和 建议 等 。 在 实际 工作 中 可 以 遵从 上 述 标准 ， 设 计 符合 软件 企业 自身 特点 的 
测试 总 结 报告 模板 。 

这 里 以 IEEE 829-2008 标准 为 例 进行 说 明 ， 如 图 6-11 所 示 ， 分 为 阶段 测试 报告 和 主 测试 报 
告 两 种 ，Level 代表 单元 测试 、 集 成 测试 、 系 统 测 试 和 验收 测试 中 的 一 种 。 阶 段 测试 报告 根据 
测试 结果 给 出 对 特定 测试 阶段 的 评价 与 建议 ， 小 型 项 目 可 能 会 合并 一 些 阶段 测试 报告 ， 主 测试 
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软件 测试 靶 术 


告 是 对 整个 测试 工作 的 最 终 总 结 报告 。 


阶段 测试 报告 纲要 主 测试 报告 纲要 
Level Test Report Outline Master Test Report Outline 
1. Introduction 1. Introduction 
1.1. Document identifier 1.1. Document identifier 
1.2. Scope 1.2. Scope 
1.3. References 1.3. References 
2. Details 2. Details of MTR 


2.1. Overview of test results 2.1. Overview of all ageregate test results 

2.2. Detailed test results 2.2. Rationale for decisions 

2.3. Rationale for decisions 2.3. Conclusions and recommendations 

2.4. Conclusions and recommendations 3. General 

3. General 3.1. Glossary 

3.1. Glossary 3.2. Document change procedures and history 
3.2. Document chang 


6-11 IEEE 829-2008 测试 报告 纲要 


ee 在 介绍 (Introduction) 和 常规 (General) 部 分 都 包含 如 下 信息 。 

文档 标识 符 (Document identifier) 

范围 (Scope): 测试 报告 文档 内 容 与 结构 ， 包 括 任何 参考 信息 。 
引用 文件 References): 提供 对 测试 计划 、 设 计 、 用 例 等 文件 的 引用 信息 。 
词汇 表 (Glossary): 专业 名 词 词汇 表 和 缩写 。 

文档 变更 过 程 和 历史 记录 (Document change procedures and history)。 

阶段 测试 报告 的 细 训 内 容 (Details) 如 下 。 

(1) 测试 结果 综述 (Overview of test results)。 总 结 和 评价 测试 结果 ， 确 定 已 完成 了 所 有 测试 
项 目 ， 说 明 测 试 项 版 本 和 修订 情况 ， 说 明 测 试 活动 的 环境 及 其 影响 。 

(2) 测试 结果 详细 说 明 (Detailed test results)。 

e 总 结 测试 结果 ， 标 识 出 所 有 已 解决 和 未 解决 的 软件 缺陷 ， 总 结 这 些 缺 陷 的 解决 方法 ， 

说 明 缺 陷 延 迟 修复 的 原因 和 处 理 过 程 。 

e 总 结 主要 测试 活动 和 事件 ， 说 明 相 关 度量 。 

e 说 明 实 际 测 试 与 测试 计划 、 测 试 规范 、 相 关 测试 文档 的 差异 ， 例 如 测试 变化 或 测试 未 

执行 ， 对 差异 产生 原因 进行 说 明 。 

e 评估 测试 过 程 的 全 面 性 ， 例 如 测试 覆盖 率 。 

(3) 决策 理由 (Rationale for decisions)。 详 细 说 明 需 要 做 出 决策 的 问题 以 及 做 出 最 终 决 策 的 
原因 。 

(4) 结论 与 建议 (Conclusions and recommendations)。 基 于 测试 结果 和 本 阶段 测试 通过 或 失败 
标准 ， 对 每 一 个 测试 项 进行 全 面 评 估 ， 包 括 各 测试 项 的 局 限 性 ， 可 以 包括 对 失败 风险 的 估计 。 
讨论 和 分 析 当 前 软件 的 可 用 性 、 稳 定性 、 可 靠 性 以 及 缺陷 产生 的 根本 原因 。 

主 测试 报告 的 细节 内 容 (Details of MTR) 如 下 。 
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(1) 测试 总 体 结果 综述 。 

e 测试 活动 总 结 。 列 举 所 有 支持 软件 发 布 、 软 件 增 量 、 版 本 更 新 的 可 执行 级 测试 活动 ， 
此 部 分 说 明 应 当 与 测试 计划 中 描述 的 测试 活动 相 一 致 。 

e 测试 任务 结果 总 结 。 列 举 所 有 可 执行 级 测试 任务 ， 任 务 描述 应 当 与 测试 计划 中 的 任务 


说 明 相 一 致 。 
e 缺陷 及 其 处 理 情况 总 结 。 分 类 列举 测试 中 发 现 的 软件 缺陷 ， 分 别 对 已 修复 和 仍 未 修复 
的 缺陷 进行 说 明 。 


e 评估 软件 质量 。 全 面 评估 软件 产品 的 质量 ， 包 括 评估 的 理由 。 

e 总 结 已 完成 的 所 有 测试 评估 度量 指标 。 

(2) 决策 理由 。 给 出 软件 测试 通过 、 失 败 或 有 条 件 通过 (Conditional-Pass) 的 结论 及 原因 。 有 
条 件 通 过 是 指 软 件 可 以 在 一 些 限制 条 件 下 使 用 ， 例 如 在 一 定 的 操作 条 件 范围 内 使 用 。 

(3) 结论 与 建议 。 对 软件 产品 进行 全 面 评估 ， 可 以 包括 对 失败 风险 的 估计 。 分 析 和 讨论 产 
品 的 适用 性 ， 给 出 软件 能 否 被 验收 的 结论 或 建议 。 在 结论 中 总 结 为 确定 软件 产品 是 否 可 以 发 布 
做 了 哪些 工作 ， 在 建议 中 给 出 软件 可 以 发 布 、 少 量 改动 后 发 布 或 不 能 发 布 的 最 终 建议 和 原因 说 
明 。 说 明 在 测试 过 程 中 得 到 的 经 验 与 教训 ， 标 识 出 完成 测试 计划 和 执行 测试 管理 过 程 中 的 软件 
过 程 改 进 措 施 ， 总 结 缺陷 产生 的 根源 。 如 果 一 些 缺 陷 被 延迟 修复 ， 说 明 原 因 。 


39 思考 题 


. 软件 缺陷 都 有 哪些 主要 属性 ? 你 认为 其 中 最 重要 的 属性 是 哪些 ? 为 什么 ? 
. 结合 缺陷 跟踪 管理 过 程 说 明 缺 陷 都 有 哪些 状态 ? 最 常见 的 状态 有 哪些 ? 
. 既然 都 是 软件 缺陷 ， 为 什么 有 些 缺 陷 可 以 推迟 修复 ? 
. 请 说 明 缺 陷 起 源 、 来 源 和 根源 的 不 同 含义 。 
. 简 述 软件 缺陷 报告 中 应 当 包 含 的 主要 信息 。 其 中 哪些 信息 是 必 不 可 少 的 ? 为 什么 ? 
. 如果 你 是 测试 人 员 ， 为 了 保证 重 现 缺陷 ， 一 般 会 采取 哪些 措施 ? 
. 简 述 如 何 完成 覆盖 率 评估 。 
. 代码 覆盖 率 在 实际 应 用 中 存在 着 哪些 误区 ? 
. 简 述 如 何 完 成 质量 评估 。 
10. 什么 是 缺陷 趋势 分 析 ? 什么 是 缺陷 分 布 分 析 ? 分 别 能 获得 哪些 主要 分 析 结果 ? 
11. 画 出 软件 项 目 在 理想 情况 下 新 增 缺陷 、 己 修复 缺陷 和 已 关闭 缺陷 的 累计 数量 趋势 对 比 
图 ， 并 且说 明 从 中 一 般 能 够 获得 哪些 有 价值 的 信息 。 
12. 缺陷 分 布 分 析 一 般 包括 哪些 主要 内 容 ? 
13. 什么 是 缺陷 密度 ? 
14. 如 何 构造 缺陷 注入 -发 现 矩 阵 ? 通过 该 矩阵 能 够 获得 哪些 有 价值 的 分 析 结 果 ? 
15. 什么 是 软件 缺陷 清除 率 ? 什么 是 缺陷 潜伏 期 ? 
6. 简 述 测试 总 结 报告 应 当 包 含 的 主要 内 容 。 


0 让 whmbD 一 
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第 7 章 


软件 测试 管理 


软件 测试 管理 是 整个 软件 项 目 管理 的 重要 组 成 部 分 , 与 软件 研发 过 程 管理 紧密 相关 。 同 时 ， 
软件 测试 管理 又 具有 自身 的 独立 性 和 特殊 性 , 需要 通过 独立 的 测试 组 织 , 运用 专门 的 测试 理论 、 
技术 、 方 法 和 工具 ， 对 测试 工作 进行 分 析 、 计 划 、 组 织 与 实施 ， 并 且 从 测试 周期 、 测 试 成 本 和 
测试 质量 等 工程 要 素 方面 加 以 有 效 控制 。 

软件 测试 管理 以 保证 软件 质量 为 目标 ， 因 此 本 章 首先 对 软件 质量 标准 和 管理 体系 进行 简要 
介绍 。 然 后 ， 详 细 说 明 如 何 进行 软件 评审 、 制 定 测试 计划 、 管 理 测试 文档 。 此 外 ， 还 对 测试 的 
配置 管理 、 人 员 组 织 管理 等 内 容 进 行 说 明 。 


了 软件 质量 管理 


7.1.1 软件 质量 特性 


软件 测试 管理 的 最 终 目 的 是 保证 和 提高 软件 质量 ， 因 此 首先 就 需要 理解 什么 是 软件 质量 。 
随 着 软 硬 件 技术 的 发 展 ， 人 们 对 软件 质量 的 理解 也 不 断 深 化 ， 软 件 质量 标准 也 处 于 不 断 变化 的 
过 程 中 。 不 同 的 标准 化 组 织 在 不 同 的 时 期 都 给 出 过 软件 质量 的 多 种 定义 ， 能 够 被 普遍 接受 的 观 
点 是 : “软件 质量 是 与 软件 系统 或 软件 产品 满足 明确 或 隐 含 需求 的 能 力 有 关 的 特征 和 特性 的 
集合 ”。 
上 述 定 义 包含 软件 质量 的 以 下 特性 : 
e 软件 需求 是 度量 软件 质量 的 基础 。 软 件 与 需求 不 一 致 的 程度 越 大 ， 质 量 就 越 差 。 
e 软件 质量 既 要 保证 明确 的 用 户 需 求 ， 也 要 保证 隐 含 的 用 户 需 求 。 软 件 结构 良好 、 能 合 
理 利 用 计算 资源 、 程 序 代码 易于 理解 和 修改 、 软 件 维护 方便 等 往往 属于 隐 含 需求 。 如 
果 不 能 满足 ， 则 意味 着 软件 质量 存在 问题 。 
e 软件 质量 反映 的 是 软件 的 综合 特征 与 用 户 期 望 。 影 响 软件 的 因素 很 多 ， 软 件 质量 是 各 
种 因素 的 复杂 组 合 ， 需 要 综合 考虑 这 些 软件 质量 特性 。 
软件 测试 管理 需要 基于 一 种 易于 理解 的 质量 模型 , 明确 满足 了 哪些 标准 才能 保证 软件 质量 
并 且 基 于 这 些 标准 对 软件 进行 风险 识别 和 质量 评估 。 最 常见 的 质量 模型 包括 McCall 模型 、ISO 
9000 标准 系列 以 及 软件 成 熟 度 模型 CMM/CMMI 等 。 由 于 软件 质量 因素 很 多 ， 因此 通常 采用 分 


NT、 


层 的 方式 定义 模型 。 

McCall 模型 是 最 早 提出 的 一 种 质量 模型 ， 由 McCall 等 人 于 1979 年 在 改进 更 为 早期 的 

Boehm 质量 模型 的 基础 上 提出 ， 如 图 7-1 所 示 。McCall 模型 的 价值 在 于 对 影响 软件 质量 的 众多 

因素 进行 了 归纳 与 分 类 , 便于 使 用 者 从 全 局 角度 理解 和 控制 软件 质量 。 这 一 模型 将 11 个 主要 质 

量 因素 分 为 软件 运行 特征 、 软 件 便于 修改 的 能 力 、 软 件 适应 新 环境 的 能 力 三 个 方面 ， 这 些 质量 
因素 可 以 作为 评价 标准 用 于 度量 软件 质量 。 

可 维护 性 

可 测试 性 

灵活 性 


可 移植 性 
可 复 用 性 
互 连 性 


软件 运行 


正确 性 可 靠 性 效率 完整 性 可 用 性 
图 7-1 McCall 质量 模型 


除了 McCall 模型 之 外 ， ISO/TEC 9126 软件 质量 模型 是 一 种 评价 软件 质量 的 通用 模型 。 
ISO/EC 9126 软件 质量 模型 最 初 于 1991 年 发 布 ， 主 要 面向 软件 质量 特性 和 产品 评价 ，1997 年 
之 后 经 过 修订 提出 了 新 的 面向 产品 质量 度量 和 质量 模型 的 ISO 9126 系列 标准 , 这 些 标准 描述 了 
软件 评估 过 程 的 模型 ， 定 义 了 6 种 主要 质量 特性 。 

ISO/TEC 9126 软件 质量 模型 从 以 下 3 个 方面 来 评价 软件 产品 的 质量 : 

(1) 内 部 质量 。 软 件 产品 在 规定 条 件 下 使 用 时 满足 明确 的 和 隐 含 的 需求 的 能 力 ， 是 从 开发 
者 的 角度 出 发 来 评价 软件 中 间 产 品 具有 的 质量 特性 ， 被 视 为 软件 开发 过 程 中 的 质量 特性 。 

(2) 外 部 质量 。 从 软件 产品 外 部 角度 出 发 所 观察 到 的 软件 总 体 特性 ， 是 软件 在 预定 的 系统 
环境 中 运行 时 可 能 达到 的 质量 水 平 ， 这 些 特性 并 不 直接 涉及 软件 内 部 。 

(3) 使 用 质量 。 从 用 户 的 角度 出 发 所 观察 到 的 软件 在 特定 使 用 环境 下 满足 需求 的 程度 。 这 
里 的 用 户 指 各 种 类 型 的 预期 用 户 ， 包 括 使 用 软件 的 最 终 用 户 和 软件 维护 人 员 。 

ISO 9126 系列 标准 如 下 。 

e@ ISO 9126-1: 质量 模型 ， 如 图 7-2 所 示 。 

e ISO 9126-2: 外 部 质量 度量 。 

e@ ISO 9126-3: 内 部 质量 度量 。 

e@ ISO 9126-4: 使 用 质量 度量 。 


软件 产品 质量 
影响 影响 
内 部 质量 | 外 部 质量 | 使 用 质量 | <- 使 用 环境 
依赖 依赖 
| | 
内 部 质量 度量 外 部 质量 度量 使 用 质量 度量 


7-2 ISO/TEC 9126 软件 质量 模型 


190 


第 7 章 软件 测试 管理 


ISO 9126 软件 质量 模型 的 主要 部 分 是 外 部 和 内 部 质量 模型 ， 如 图 7-3 所 示 ， 由 6 个 质量 特 
性 和 27 个 质量 子 特性 构成 ， 其 度量 指标 一 般 由 软件 企业 自行 决定 。 


1、 适 合 性 
2、 准 确 性 
功能 性 3、 互 操作 性 
4、 安 全 保密 性 

5、 功 能 性 的 依从 性 


1、 成 熟 性 
、 容 错 性 
、 易 恢复 性 
、 可 靠 性 的 依从 性 


可 靠 性 


| 


易 理解 性 
易学 性 
易 操作 性 
、 吸 引 性 
易 用 性 的 依从 性 
时 间 特 性 
、 资 源 利用 性 
、 效 率 依从 性 


、 易 分 析 性 
、 易 改变 性 
、 稳 定性 
、 易 测试 性 
、 维 护 性 的 依从 性 


易 用 性 


菩 各 汉 八 习 
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外 
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ke 
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效率 
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可 维护 性 


ww 上 wb 一 


、 适 应 性 

、 易 安装 性 

、 易 蔡 换 性 

5、 可 移植 性 的 依从 性 


7-3 ISO 9126 软件 质量 模型 的 内 部 和 外 部 质量 模型 


上 wp 一 


可 移植 性 


对 这 些 质量 特性 及 其 子 特性 的 简要 说 明 如 下 。 
ke 功能 性 。 软 件 在 指定 条 件 下 使 用 时 满足 明确 的 和 隐 含 的 功能 需求 的 能 力 。 
适合 性 : 为 用 户 任务 和 目标 提供 一 组 合适 功能 的 能 力 。 
准确 性 : 提供 具有 所 需 精确 度 的 正确 和 相符 的 结果 或 效果 的 能 力 。 
互 操作 性 : 软件 与 规定 系统 或 接口 进行 交互 的 能 力 。 
ee 软件 产品 保护 信息 和 数据 的 能 力 。 
能 性 的 依从 性 : 遵循 与 功能 性 相关 的 标准 、 约 定 或 法 规 的 能 
四 和 软件 在 指定 条 件 下 使 用 时 维持 规定 的 性 和 水 平 的 能 力 。 
e 成 熟 性 ， 避免 因 软件 错误 而 导致 失效 的 能 


191 


NT 有、 


e 容错 性 :在 软件 出 现 故障 或 违反 指定 接口 的 情况 下 维持 规定 的 性 能 水 平 的 能 力 。 
e。 易 恢 复 性 ， 软件 在 失效 情况 下 重建 规定 的 性 能 水 平 并 恢复 受 影响 的 数据 的 能 力 。 
e 可 靠 性 的 依从 性 : 遵循 与 可 靠 性 相关 的 标准 、 约 定 或 法 规 的 能 力 。 
(3) 易 用 性 。 软 件 产品 被 理解 、 学 习 、 使 用 和 吸引 用 户 的 能 力 。 
e 易 理 解 性 ， 使 用 户 能 理解 软件 是 否 合适 ， 以 及 如 何 将 软件 用 于 特定 任务 的 能 力 。 
e 易学 性 : 方便 用 户 学 习 软件 使 用 方法 的 能 
e 易 操作 性 :使 用 户 能 够 操作 和 控制 软件 的 能 力 。 
e 吸引 性 : 软件 产品 吸引 用 户 的 能 力 。 
e 易 用 性 的 依从 性 : 遵循 与 易 用 性 相关 的 标准 、 约 定 或 法 规 的 能 力 。 
(4) 效率 。 在 规定 条 件 下 相对 于 所 用 资源 的 数量 ， 软 件 产品 可 提供 适当 性 能 的 能 力 。 
e 时 间 特 性 ， 在 规定 条 件 下 完成 某 个 功能 需要 的 响应 时 间 。 
e 资源 利用 性 ， 软件 执行 其 功能 时 使 用 合适 的 资源 数量 和 类 别 的 能 力 。 
e 效率 依从 性 ， 遵循 与 效率 相关 的 标准 、 约 定 或 法 规 的 能 力 。 
(5) 可 维护 性 。 软 件 产品 可 被 修改 的 能 力 。 
易 分 析 性 : 使 于 诊断 软件 缺陷 、 失 效 原 因 以 及 识别 待 修改 部 分 的 能 力 。 
易 改 变性 : 使 软件 修改 易于 实施 的 能 力 。 
稳定 性 : 避免 由 于 修改 软件 而 造成 意外 结果 的 能 力 。 
易 测试 性 : 便于 确认 已 修改 软件 的 能 力 。 
维护 性 的 依从 性 : 遵循 可 维护 性 相关 标准 、 约 定 或 法 规 的 能 力 。 
(6) 可 移植 性 。 软 件 产品 从 一 种 运行 环境 迁移 到 另 一 种 运行 环境 的 能 力 。 
适应 性 : 不 需要 采用 其 他 方法 就 可 以 适应 不 同 运行 环境 的 能 力 。 
易 安装 性 : 便于 在 指定 环境 中 安装 软件 的 能 力 。 
共存 性 : 软件 与 其 他 分 享 相同 资源 的 软件 在 环境 中 共存 的 能 力 。 
易 蔡 换 性 : 在 相同 环境 下 替代 另 一 个 相同 用 途 软件 的 能 力 。 
可 移植 性 的 依从 性 : 遵循 与 可 移植 性 相关 的 标准 、 约 定 或 法 规 的 能 力 。 
se 
有 效 性 : 软件 在 特定 环境 下 达到 准确 性 和 完备 性 目标 的 能 力 。 
e 生产 性 ， 用 户 为 达到 有 效 性 而 消耗 适当 数量 的 资源 的 能 力 ， 例 如 完成 任务 的 时 间 、 工 
作 量 、 材 料 、 财 务 费用 等 。 
e 安全 性 : 软件 可 能 造成 损害 的 可 接受 的 风险 级 别 。 
。 满意 度 : 用 户 对 软件 产品 的 满意 程度 ， 包 括 对 软件 产品 的 意见 。 


7.1.2 ”软件 质量 标准 与 管理 体系 


1. 软件 质量 标准 的 层次 


软件 质量 标准 一 般 分 为 如 下 5 个 层次 。 
(1) 国际 标准 : 由 国际 机 构 制定 和 公布 的 标准 ， 例 如 国际 标准 化 组 织 / 国 际 电工 委员 会 
(ISO/AEC)、 电 子 和 电气 工程 师 协 会 QEEE) 等 。 有 以 下 一 些 典型 的 软件 质量 国际 标准 。 
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e@。 ISOTEC 12119: 对 软件 包 的 质量 要 求 和 测试 细则 进行 了 定义 。 
e@ ISO/TEC 9126: 以 分 层 方式 定义 了 软件 质量 特性 和 子 特性 ， 并 根据 内 部 质量 、 外 部 质量 
以 及 使 用 质量 三 种 情况 分 别 给 出 了 质量 特性 度量 指标 ， 关 注 质 量 模型 及 其 度量 方法 。 

e@ ISOTEC 14598: 规范 了 对 软件 产品 质量 特性 进行 评价 的 过 程 ， 关 注 的 是 整个 软件 质量 

评价 的 活动 。 

e ISO/IEC SQuaRE 系列 标准 : 通常 也 称 为 25000 系列 标准 ， 以 ISO/TEC 250mn 的 方式 对 

标准 进行 编号 。250 代表 该 标准 属于 ISO/IEC SQuaRE 系列 标准 , m 是 标准 所 属 的 分 部 ， 
n 是 该 分 部 中 具体 的 标准 。25000 系列 标准 是 ISO/EC 9126 和 ISO/TEC 14598 的 改进 标 
准 ， 从 2005 年 起 陆续 发 布 。 

(2) 国家 标准 。 由 国家 机 构 制定 或 批准 ， 只 适用 于 本 国 范围 的 标准 ， 例 如 我 国标 准 简称 为 
“国标 GB”。 我 国 通过 引入 国际 标准 和 自主 研制 发 布 了 一 系列 软件 质量 标准 ， 例 如 引入 了 
ISO/TEC 14598 和 ISO/TEC 9126 国际 标准 ， 研 制 了 GB/T 18905《 软 件 工程 产品 评价 》 和 GB/T 
16260《 软 件 工 程 产品 质量 》 国 家 系列 标准 。 从 ISO/IEC SQuaRE 系列 标准 开始 ， 我 国 国家 标准 
统一 采用 国际 标准 号 25000， 并 进一步 制定 了 相应 的 等 同 标准 ， 如 GB/T 25000.1-2010《 软 件 工 
程 软件 产品 质量 要 求 与 评价 SQuaRE 指南 》。 

(3) 行业 标准 。 由 行业 协会 、 学 术 团 体 或 国防 机 构 制定 的 适用 于 某 个 业务 领域 的 标准 ， 例 
如 电子 和 电气 工程 师 协会 (EEE) 等 。 需 要 注意 的 是 ， 软 件 项 目 针对 的 业务 领域 也 经 常会 有 一 些 
相关 标准 ， 例 如 医院 信息 化 管理 系统 (HIS) 标 准 。 

(4) 企业 规范 。 一 些 大 型 企业 或 公司 单独 或 联合 制定 的 规范 ， 一 些 规范 随 着 影响 力 的 提升 
会 转变 为 行业 标准 、 国 家 标准 甚至 国际 标准 。 

(5) 项 目 规范 。 专 门 为 特定 软件 项 目 制定 的 操作 规范 。 


2. 主要 的 软件 质量 管理 体系 


国内 软件 企业 所 采用 的 软件 质量 管理 体系 主要 是 ISO 9000 和 CMM/CMMI 两 种 ,出 于 承接 
大 型 软件 项 目 资质 方面 的 考虑 ， 很 多 公司 都 会 取得 各 种 质量 标准 协会 的 认证 ， 有 的 公司 甚至 会 
同时 具有 ISO 9000 和 CMM 的 认证 。 相 比 于 ISO 9000, 目前 国内 软件 企业 更 为 认可 的 质量 管理 
体系 是 CMM， 尤 其 是 承接 欧美 外 包 项 目的 软件 公司 。 因 为 很 多 欧美 公司 都 认可 CMM 认证 ， 
通过 CMM3 或 CMM4 认证 的 软件 企业 往往 具备 承接 国际 项 目的 能 力 。 常 见 的 质量 管理 体系 如 
表 7-1 所 示 。 

ISO 9000 是 质量 管理 系列 标准 ， 发 布 之 初 面向 产品 制造 业 ， 还 不 能 适用 于 软件 过 程 管理 。 
ISO 9001 是 ISO 9000 系列 标准 之 一 ， 规 定 了 设计 、 开 发 、 生 成 、 安 装 和 服务 的 质量 保证 模式 ， 
该 标准 适用 于 所 有 的 工程 行业 。 为 了 应 用 于 软件 开发 行业 ，ISO 专门 制定 出 ISO 9000-3 标准 ， 
全 称 为 “质量 管理 与 质量 保证 标准 第 三 部 分 : 在 软件 开发 、 供 应 、 安 装 和 维护 中 的 使 用 指南 ”， 
也 就 是 将 ISO 9000-3 作为 软件 企业 实施 ISO 9001 的 指南 。ISO 的 核心 内 容 主 要 包括 合同 评审 、 
需求 规格 说 明 、 开 发 计划 、 质 量 计划 、 设 计 和 实现 、 测 试 和 确认 、 验 收 、 复 制 、 交 付 与 安装 以 
及 维护 的 相关 标准 。 
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表 7-1 常见 的 质量 管理 体系 


名 称 制定 者 简要 说 明 
oo 国际 标准 ,ISO/TC ISO 9000-3 是 针对 软件 开发 行业 的 标准 实施 
日 
i 软件 行业 标准 , 卡 内 基 分 为 5 个 等 级 ，CMMI 是 CMM 的 新 版 本 ， 选 择 
梅 隆 大 学 制定 并 管理 CMM/CMMI 认证 的 美国 软件 企业 较 多 
软件 过 程 评 估 标 准 ， 起 源 于 软件 过 程 改进 和 能 力 测 
ISO 15504 a 
国际 标准 ，ISO/TC 定 (SPICE, Software Process Improvement and Capability 
(SPICE) a 
Determination) 项 目 
PS 不 只 关注 质量 ， 还 关注 成 本 、 进 度 等 ， 面 向 全 面 管 
人 理 。 以 质量 为 主线 ， 以 客户 需求 为 中 心 ， 利 用 对 事 
人 实 和 数据 的 分 析 改 进 业务 流程 
ed 目的 是 推动 IT 企业 通过 ISO 9000 质量 认证 ，TickIT 
TickIT tae 基于 ISO 9001, 选择 ISO 9001/TickIT 认证 的 欧洲 软 
Ei 件 企 业 较 多 


CMM(Capability Maturity Mode) 能 力 成 熟 度 模型 是 卡 内 基 梅 隆 大 学 软件 研究 所 (SED 提 出 的 
模型 ， 能 够 有 效 地 帮助 软件 企业 完善 和 改进 软件 开发 过 程 。CMM 的 实用 性 在 于 将 软件 过 程 改 
进步 又 划分 为 逐步 成 熟 的 、 阶梯 式 的 5 个 等 级 (如 图 7-4 所 示 ), 以 便于 软件 企业 根据 阶段 目标 不 
断 对 软件 开发 和 维护 进行 过 程 监控 和 研究 ， 使 其 更 加 科学 化 、 标 准 化 。 


过 程 定义 


基本 的 管理 控制 


已 定义 级 


过 程控 制 


过 程度 量 


已 管理 级 


图 7-4 CMM 过 程 成 熟 度 级 别 


CMM 的 5 个 等 级 的 基本 特征 如 下 。 


(1) 初始 级 (initial)。 开 发 过 程 无 序 ， 只 有 少量 过 程 经 过 严格 定义 。 过 于 依赖 个 人 的 业务 能 
力 、 经 验 和 和 努力， 过程 随 着 人 员 变 动 而 改变 。 缺 乏 健全 的 管理 制度 ， 开 发 项 目 成 效 不 稳定 ， 软 
件 质 量 决定 于 个 人 能 力 而 不 是 软件 企业 的 过 程 能 力 ， 因 此 难以 预测 。 

(2) 可 重复 级 (Repeatable)。 已 经 建立 了 基本 的 管理 制度 和 规程 ， 初 步 实现 了 标准 化 ， 开 发 
工作 能 够 比较 好 地 按 标准 实施 。 软 件 变更 可 以 依法 进行 ， 实 现 了 基线 化 ， 稳 定 可 跟踪 。 相 似 项 
目的 计划 和 管理 基于 过 去 的 实践 经 验 ， 可 以 重用 以 前 成 功 的 部 分 。 

G) 已 定义 级 (Defined)。 开 发 过 程 以 及 技术 工作 和 管理 工作 均 已 实现 标准 化 、 文 档 化 ， 建 
立 了 完善 的 培训 制度 和 评审 制度 ， 开 发 成 本 、 进 度 、 质 量 均 可 控制 ， 对 已 定义 的 过 程 模型 的 活 


动 、 人 员 岗 位 和 职责 均 有 共同 的 理解 。 


() 已 管理 级 (Managed)。 产 品 和 过 程 已 经 建立 了 定量 的 质量 目标 ， 开 发 活动 中 的 生产 率 和 
质量 是 可 度量 的 。 已 实现 对 软件 产品 质量 和 开发 过 程 的 控制 ， 可 预测 过 程 和 产品 质量 趋势 ， 如 
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果 发 生 偏差 能 够 及 时 纠正 。 软 件 产品 在 达到 确定 的 质量 指标 后 才 了 予以 发 布 。 

(5) 优化 级 (Optimizing)。 可 以 取得 过 程 有 效 性 的 统计 数据 ， 并 根据 定量 化 的 分 析 结 果 得 出 
最 佳 过 程 改 进 方法 ， 采 用 新 技术 、 新 方法 来 优化 开发 过 程 。 拥 有 防止 出 现 缺 陷 、 识 别 薄 弱 环节 
并 加 以 改进 的 手段 。 具 备 持续 不 断 地 改进 软件 开发 过 程 的 能 力 。 

表 7-2 反映 了 CMM 的 5 个 等 级 与 软件 产品 潜在 缺陷 密度 和 缺陷 清除 率 的 关系 ， 缺 陷 密度 
按 每 个 功能 点 的 缺陷 数 来 表示 。 从 表 7-2 中 可 以 看 出 ， 软 件 过 程 的 成 熟 度 越 高 ， 缺 陷 的 清除 率 
也 越 高 。 


表 7-2 CMM 级 别 、 潜 在 缺陷 密度 与 缺陷 清除 率 


洪 在 忽 隐 密度 缺 了 清除 率 (%) 被 交付 的 缺陷 
[sa | ws 


5.00 


85 0.75 
400 | | 044 
| 0 027 
ou4 
[Li | | 005 


从 CMM 的 具体 实施 层面 来 看 ， 除 了 CMMI 之 外 ，CMM 其 他 的 每 一 个 等 级 都 给 出 了 实现 
这 一 等 级 目标 的 若干 关键 过 程 域 KPA，Key Process Area)。 这 些 KPA 明确 规定 了 一 个 软件 企业 
需要 关注 和 改进 的 软件 过 程 环节 以 及 具体 问题 。 每 一 个 KPA 都 明确 列 出 了 一 个 或 多 个 改进 目 
标 ， 并 且 给 出 了 一 组 相关 的 关键 实践 (Key Practices)。 软 件 企业 只 要 实施 这 些 关键 实践 ， 就 可 以 
达到 相应 的 过 程 改进 目标 。 各 等 级 主要 的 KPA 内 容 如 下 。 
e。 CMM2 的 KPA: 软件 质量 保证 (SQA，Software Quality Assurance) 方 法 。 通 过 监控 软件 
的 开发 过 程 、 保 证 软件 及 其 开发 过 程 符合 标准 与 规范 、 对 不 符合 项 进行 跟踪 处 理 等 措 
施 来 提高 软件 质量 。 
e。 CMM3 的 KPA: 同行 评审 (PR，Peer Reviews) 方 法 。 通 过 加 强 同 行 评审 可 以 及 时 和 高 效 
地 识别 与 消除 软件 产品 中 的 缺陷 。 
e。 CMM4 的 KPA: 软件 质量 管理 (SQM，Software Quality Management) 方 法 。 强 调 建立 对 
软件 产品 质量 的 定量 度量 ， 以 使 于 实现 对 质量 的 定量 管理 。CMM4 级 软件 企业 的 过 程 
能 力 是 定量 的 ， 是 可 以 预测 的 过 程 。 
e@ CMM5 的 KPA: 缺陷 预防 (DP，Defect Prevention) 方 法 。 分 析 缺 陷 产 生 原 因 ， 基 于 缺陷 
类 型 、 来 源 、 出 现 概率 、 影 响 范围 等 数据 建立 管理 数据 库 ， 分 析 结果 供 软件 企业 所 有 
项 目 组 共享 以 支持 过 程 优化 改进 。 统 计 过 程控 制 的 理论 和 技术 是 CMM5 的 基础 。 
CMMI 是 由 美国 软件 工程 学 会 (SEI，Software Engineering Institute) 于 2000 年 发 布 的 CMM 
的 新 版 本 ， 全 称 是 “Capability Maturity Model Integration”， 中 文 为 “能 力 成 熟 度 模型 集成 ”。 
2001 年 12 月 发 布 的 CMMI 1.1 版 本 标志 着 CMMI 的 正式 使 用 。CMMI 将 各 种 能 力 成 熟 度 模型 
整合 到 同一 框架 中 ， 其 内 容 不 仅 包括 软件 过 程 改进 ， 还 包括 系统 集成 、 项 目 采购 等 方面 的 过 程 
改进 内 容 。CMMI 沿 用 了 CMM 的 等 级 方式 ， 但 是 纠正 了 原 有 模型 之 间 的 不 一 致 性 和 重复 性 等 
问题 ， 使 其 更 适用 于 软件 企业 的 过 程 改进 。 
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3. 主要 软件 质量 管理 体系 的 区 别 与 联系 


软件 质量 标准 体系 之 间 具 有 一 定 的 区 别 和 联系 。 首 先 来 看 一 下 ISO 9001 与 CMM 的 关系 ， 
两 者 具有 以 下 一 些 相同 之 处 。 

。 都 以 全 面 质 量 管理 为 理论 基础 ， 以 提高 软件 质量 管理 水 平 为 目标 ， 强 调 管理 过 程 的 规 
范 化 和 文档 化 。 

e 都 强调 “该 说 的 要 说 到 ， 说 到 就 要 做 到 ”， 即 对 每 个 重要 过 程 都 要 形成 文件 ， 并 检查 
交付 物 的 质量 水 平 。 

但 是 ISO 9001 和 CMM 也 具有 如 下 一 些 不 同 之 处 。 

e 基础 不 同 。ISO 9001 确定 了 合格 质量 管理 体系 的 最 低 可 接受 水 平 ， 而 CMM 更 为 强调 
持续 过 程 改 进 。 虽 然 ISO 9001 也 会 解决 持续 过 程 改进 的 问题 ， 但 CMM 更 明确 地 致力 
于 解决 过 程 改进 的 问题 。 

e 范围 有 所 区 别 。 ISO 9001 的 范围 包括 软 硬 件 、 流 程 性 材料 和 服务 ，CMM 严格 聚焦 于 软 
件 ， 是 描述 软件 过 程 能 力 的 “ 专 有 ”模型 。CMM 虽然 没有 完全 满足 ISO 9001 的 一 些 
特定 要 求 ， 但 已 经 包括 大 部 分 的 要 求 。 

e 不 能 简单 蔡 代 。 一 些 ISO 9001 质量 要 求 在 CMM 中 不 存在 ， 反 之 亦 然 ， 另 外 一 些 要 求 
是 分 散 对 应 的 。 满 足 ISO 9001 并 不 意味 着 完全 满足 CMM 某 个 等 级 的 要 求 ,取得 CMM2 
或 CMM3 也 不 能 说 就 一 定 满足 ISO 9001 的 要 求 。 

e 层次 不 同 。ISO 9000 认证 的 结果 只 有 “通过 ”和 “不 通过 ”两 种 ， 而 CMM 的 评价 分 
为 5 级 ， 更 多 体现 了 软件 过 程 动态 和 持续 改进 的 特征 。 

CMM 和 CMMI 之 间 也 存在 着 如 下 一 些 主要 不 同 之 处 。 

e@。 CMMI 整合 了 系统 工程 、 软 件 采购 、 人 力 资源 管理 、 产 品 集成 、 开 发 过 程 等 多 个 能 力 
成 熟 度 模型 。 因 此 ， 对 于 工作 面 众多 、 业 务 不 仅 有 软件 开发 还 包括 硬件 开发 、 系 统 集 
成 的 大 型 软件 企业 来 说 更 为 适用 。 对 于 规模 不 大 、 业 务 集中 于 软件 开发 的 企业 来 讲 
CMM 比较 适用 。 

。 CMMI 具有 和 CMM 一 样 的 阶段 式 表 现 方法 ， 将 软件 过 程 分 为 不 同 的 成 熟 度 级 别 。 同 
时 ，CMMI 还 有 连续 式 的 表现 方法 ， 将 软件 过 程 分 为 过 程 管理 、 项 目 管理 、 工 程 和 支 
持 四 种 类 型 ， 每 一 类 型 又 分 为 基本 和 高 级 两 种 。 软 件 企业 如 果 按 连 续 方式 实施 CMMI， 
可 以 单方 面 选 择 将 某 一 类 实践 做 到 最 好 ， 而 暂时 不 考虑 其 他 类 型 。 

e。 CMMI 对 原 有 CMM 的 关键 过 程 区 域 (KPA) 进 行 了 更 为 详细 的 拆 分 和 扩充 , 并 结合 常见 
的 软件 生命 周期 模型 进行 了 映射 。 例 如 ， 在 第 3 级 增加 了 需求 开发 、 决 策 分 析 、 焦 点 
定义 、 集 成 团队 等 。 

。 CMM 在 软件 方面 的 要 求 比 CMMI 略 低 ， 实 施 难度 和 过 程 改 进 的 费用 也 要 小 一 些 。 因 
此 ， 软 件 企业 可 以 根据 实际 情况 ， 采 用 CMM 的 实施 和 评估 方法 ， 在 过 程 改进 中 参考 
CMMI 的 要 求 ， 降 低 实施 难度 和 成 本 。 
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软件 评审 


1. 软件 评审 的 重要 性 


软件 评审 是 为 了 验证 软件 开发 和 软件 测试 各 个 阶段 的 工作 是 否 已 经 阶段 性 地 达到 规定 的 技 
术 和 质量 要 求 ， 然 后 决定 能 和 否 转 入 下 一 阶段 的 工作 。 因 此 ， 通 过 软件 评审 可 以 建立 软件 项 目 管 
理 过 程 中 的 重要 里 程 碑 ， 是 软件 质量 控制 和 保障 的 重要 手段 之 一 。 

根据 软件 开发 和 测试 阶段 的 划分 ， 评 审 阶段 可 以 分 为 软件 需求 评审 、 设 计 评审 、 测 试 计划 
评审 、 编 码 和 单元 测试 评审 、 集 成 测试 评审 、 系 统 测试 评审 、 验 收 测试 评审 等 。 根 据 评审 的 对 
象 不 同 ， 又 可 以 分 为 管理 评审 、 技 术 评 审 、 文 档 评审 和 流程 评审 。 简 单 来 说 ， 只 要 是 开发 和 测 
试 中 的 重要 环节 都 应 当 进 行 评审 。 

软件 评审 和 软件 测试 具有 紧密 关系 。 随 着 对 软件 测试 理解 的 深入 ， 人 们 认识 到 软件 缺陷 更 
多 地 起 源 于 软件 早期 阶段 ， 因 此 将 需求 和 设计 文档 检查 、 代 码 审查 等 内 容 作为 必须 完成 的 静态 
测试 内 容 ， 并 且 强 调 从 软件 项 目 一 开始 测试 活动 就 必须 跟 进 。 因 此 ， 软 件 评审 和 软件 静态 测试 
在 对 软件 技术 方案 进行 验证 方面 的 工作 是 一 致 的 ， 而 管理 评审 和 流程 评审 属于 质量 保障 工作 的 
范畴 ， 测 试 更 多 的 是 针对 软件 程序 。 

软件 评审 与 程序 测试 应 当 配合 使 用 才能 取得 最 佳 的 质量 保障 效果 ， 并 且 软 件 评 审 相 比 于 单 
纯 的 软件 测试 具有 更 为 显著 的 作用 。 据 统计 ， 基 于 测试 用 例 的 程序 测试 只 能 发 现 大 约 15 的 软 
件 缺 陷 ， 而 软件 评审 可 以 找 出 4/5 的 软件 缺陷 。 因 此 ， 通 过 软件 评审 能 够 尽早 发 现 软件 缺陷 
避免 将 大 量 软件 缺陷 遗留 到 测试 执行 阶段 才 去 发 现 与 修复 。 图 7-5 反映 了 加 强 软件 评审 前 后 软 
件 缺 陷 分 布 的 变化 情况 。 
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需求 分 析 阶 段 设计 阶段 编码 阶段 执行 测试 阶段 软件 发 布 
图 7-5 软件 评审 对 缺陷 分 布 的 影响 


尽早 发 现 软件 缺陷 有 如 下 两 个 明显 的 作用 。 

1) 减少 软件 缺陷 的 数量 

软件 缺陷 具有 “弥漫 和 放大 ”效应 。 软 件 研发 由 一 系列 阶段 组 成 ， 前 期 阶段 的 某 一 软件 缺 
陷 会 造成 后 期 阶段 更 多 数量 的 缺陷 ， 如 果 不 能 及 时 清除 会 使 得 缺陷 的 影响 范围 越 来 越 大 。 严 格 
的 软件 评审 可 以 及 时 发 现 和 纠正 阶段 性 的 软件 问题 ,将 缺陷 的 数量 尽 可 能 控制 在 最 小 范围 之 内 ， 
避免 后 期 阶段 缺陷 数量 的 膨胀 。 编 码 只 是 对 需求 和 设计 的 反映 ， 因 此 尤其 需要 重视 软件 需求 和 
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设计 方面 的 评审 。 这 两 个 阶段 的 缺陷 对 整体 软件 质量 的 影响 非常 显著 ， 必 须 在 实际 编程 和 测试 
前 ， 在 最 大 程度 上 清除 其 中 的 软件 缺陷 。 

2) 降低 修复 软件 缺陷 的 成 本 

如 图 7-6 所 示 ， 不 同 软件 研发 阶段 修复 软件 缺陷 的 成 本 差异 很 大 。 平 均 来 讲 ， 如 果 修 复 一 
个 需求 缺陷 的 成 本 是 1， 那 么 在 设计 阶段 发 现 和 改正 该 缺陷 的 成 本 是 3~6 倍 ， 在 程序 编码 阶段 
变 为 10 倍 , 在 测试 阶段 变 为 15~50 倍 ， 到 软件 发 布 后 才 发 现 并 进行 修正 的 成 本 会 高 达 40~1000 
售 。 阶 段 修复 成 本 再 合 加 缺陷 数量 的 放大 效应 会 使 得 修正 缺陷 的 成 本 呈现 指数 级 增长 ， 由 此 可 
以 体会 到 通过 软件 评审 及 早 发 现 和 修复 缺陷 的 极端 重要 性 。 
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2. 软件 评审 的 方法 


软件 评审 的 对 象 通常 是 软件 开发 过 程 中 产生 的 各 种 技术 产品 或 技术 文档 ， 如 软件 需求 规格 
说 明 书 、 软 件 设计 文档 、 源 程序 、 测 试 计划 等 ， 重 点 评审 阶段 性 技术 产品 在 需求 、 设 计 、 逻 辑 
实现 以 及 测试 整体 规划 方面 是 否 正确 、 合 理 、 有 效 和 可 行 ， 相关 技术 文档 内 容 是 否 规范 、 完 整 、 
一 致 。 
软件 评审 在 各 个 软件 企业 的 形式 不 同 ， 也 存在 着 一 些 不 同 的 相关 名 称 ， 例 如 审查 
(Inspection)、 走 查 (Walkthroughb)、 同 伴 评审 (Buddy Review)、 同 行 评 审 (Peer-to-Peer Review) 等 。 
不 同 的 形式 之 间 并 没有 本 质 的 区 别 ， 只 存在 以 下 正式 和 非 正 式 的 差别 。 
e 正式 的 软件 评审 。 以 评审 会 议 的 形式 进行 ， 由 评审 组 长 和 相关 开发 与 测试 人 员 组 成 ， 
通过 会 议 准备 、 设 定 评审 原则 、 召 开会 议 、 评 审 分 析 、 给 出 过 程 改 进 意 见 、 形 成 正式 
的 问题 总 结 与 记录 等 环节 完成 软件 评审 。 
e 非 正式 软件 评审 。 相 关 的 评审 人 员 通 过 邮件 接收 评审 内 容 ， 分 散 阅 读 并 提出 书面 意见 ， 
或 者 以 非 正式 会 议 的 形式 对 评审 对 象 进行 检查 。 非 正式 评审 仍然 需要 形成 评审 记录 ， 
由 评审 人 员 签 字 以 体现 各 自 责任 。 
实际 工作 中 可 以 根据 不 同 的 阶段 选择 合适 的 评审 形式 ， 例 如 在 正式 评审 前 采用 非 正式 评审 
的 方式 充分 分 析 评 审 内 容 ， 然 后 通过 正式 评审 形成 最 终 决议 。 对 于 重要 的 开发 和 测试 阶段 一 定 
要 采用 正式 的 软件 评审 ， 最 为 重要 的 阶段 一 般 包 括 : 需求 评审 、 设 计 评审 、 核 心 代码 评审 、 测 
试 计划 评审 。 通 过 软件 评审 ， 可 以 形成 功能 基线 、 设 计 基线 、 产 品 基线 等 一 系列 软件 阶段 状态 
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基准 ， 以 便于 应 对 、 跟 踪 和 管理 各 种 软件 变更 。 
软件 评审 中 经 常 采用 如 下 两 种 评审 技术 。 
1) 缺陷 检查 表 
缺陷 检查 表 是 最 为 常用 的 评审 工具 ， 根 据 经 验 列 出 了 最 有 可 能 发 生 的 软件 缺陷 。 通 过 缺陷 
检查 表 驱 动 评审 过 程 可 以 更 为 准确 地 确定 评审 范围 ， 提 高 评审 的 质量 和 效率 。 
2) 场景 分 析 
场景 分 析 多 在 需求 评审 时 应 用 ， 可 以 使 评审 人 员 从 不 同类 型 的 用 户 角 度 出 发 ， 设 定 这 些 用 
户 使 用 软件 的 各 种 典型 场景 ， 根 据 各 类 用 户 的 关注 程度 划分 场景 优先 级 ， 分 析 各 场景 下 的 主要 
软件 功能 和 性 能 要 求 ， 确 定 其 重要 性 和 相关 技术 风险 。 
在 评审 过 程 中 一 般 采 用 分 层 评审 、 分 类 评审 和 分 阶段 评审 的 方法 。 
e 分 层 评审 。 从 评审 对 象 的 高 层 内 容 向 低层 细节 内 容 逐 步 推进 ， 进 行 评审 。 例 如 ， 在 需 
要 评审 时 ， 首 先 检查 软件 高 层 主要 功能 和 非 功 能 特性 是 否 已 经 满足 用 户 的 主要 软件 使 
用 要 求 ， 然 后 再 对 低层 细节 需求 展开 评审 。 
e 分 类 评审 。 对 评审 对 象 的 各 类 主要 内 容 分 别 进行 评审 ， 适 用 于 对 大 多 数 软 件 开发 阶段 
的 评审 。 例 如 ， 对 测试 计划 中 的 测试 范围 、 优 先 级 、 策 略 、 进 度 安排 等 内 容 分 别 进行 
评审 。 还 可 以 结合 分 层 评审 的 方法 ， 进 一 步 对 测试 策略 中 的 单元 测试 、 集 成 测试 、 系 
统 测试 、 性 能 测试 、 安 全 性 测试 等 细节 测试 策略 进行 详细 评审 。 
e 分 阶段 评审 。 对 于 规模 和 复杂 度 很 高 的 评审 对 象 ， 一 般 需 要 进行 多 次 评审 ， 以 降低 评 
审 的 难度 ， 提 高 评审 的 质量 。 


测试 计划 


制定 测试 计划 是 软件 测试 过 程 中 的 第 一 个 环节 ， 测 试 计划 是 测试 管理 活动 的 主要 依据 ， 也 
是 测试 管理 思想 和 措施 的 具体 体现 ， 缺 乏 测试 计划 必 将 造成 测试 过 程 的 混乱 和 失败 。 


7.3.1 对 于 测试 计划 的 基本 认识 


1. 测试 计划 的 目的 与 作用 


软件 测试 项 目 管理 一 般 从 制定 测试 计划 开始 ， 测 试 计划 是 测试 管理 工作 必须 完成 的 重要 任 
务 之 一 。 首 先 需要 明确 什么 是 计划 ， 一 般 来 说 计划 是 为 了 识别 任务 、 分 析 风 险 、 规 划 资 源 和 确 
定 进度 。 从 上 述 计划 的 定义 可 知 ， 计 划 并 不 是 一 张 单纯 的 时 间 进 度 表 ， 而 是 包含 丰富 的 内 容 。 
制定 计划 是 一 个 动态 的 过 程 ， 最 终 要 以 系列 文档 的 形式 确定 下 来 。 

测试 计划 是 为 了 确定 各 个 测试 阶段 的 目标 和 策略 ， 明 确 需要 完成 的 测试 活动 ， 合 理 安排 测 
试 所 需要 的 时 间 和 资源 ， 说 明 完 成 测试 的 组 织 结构 和 岗位 职责 ， 确 定 对 测试 过 程 及 其 结果 进行 
控制 和 测量 所 需要 的 方法 和 活动 ， 识 别 测试 风险 。 

制定 测试 计划 需要 测试 管理 人 员 的 积极 参与 ， 测 试 计划 确定 了 整个 测试 项 目的 时 间 框架 ， 
测试 工作 必须 服从 时 间 和 资源 上 的 约定 。 简 单 来 说 ， 测 试 计划 的 目的 是 对 测试 过 程 进行 整体 规 
划 与 说 明 ， 指 导 测试 过 程 的 执行 ， 跟 踪 和 控制 测试 进度 。 测 试用 例 的 设计 是 基于 测试 计划 的 ， 
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测试 计划 给 出 了 测试 范围 、 策 略 和 资源 配置 方面 的 宏观 规划 ， 而 测试 用 例 用 于 完成 测试 计划 所 
规定 的 测试 任务 。 

制定 测试 计划 主要 有 以 下 作用 : 

e 体现 软件 测试 管理 的 主要 目标 。 通 过 测试 计划 合理 估计 测试 资源 、 成 本 和 进度 ， 在 软 
件 产品 质量 、 测 试 时 间 和 测试 成 本 之 间 做 出 最 佳 平衡 ， 预 先 识别 软件 测试 的 风险 并 给 
出 应 对 措施 。 

。 便于 进行 测试 管理 。 测 试 计划 将 整体 测试 工作 细 化 ， 分 解 为 便于 执行 的 测试 任务 ， 方 
便 测试 人 员 进 行 任务 分 配 ， 同 时 也 方便 对 测试 过 程 进行 监督 与 控制 。 对 测试 任务 进行 
优先 级 设 定 ， 合 理 安排 有 限 的 测试 资源 和 测试 任务 的 处 理 顺序 ， 降 低 测 试 的 风险 ， 使 
软件 测试 管理 工作 更 加 顺利 。 

e 建立 对 测试 结果 的 客观 评价 标准 。 通 过 在 测试 计划 中 明确 对 测试 结果 的 度量 标准 、 某 
一 测试 任务 可 以 通过 的 标准 、 阶 段 或 整体 测试 工作 的 结束 标准 等 ， 使 测试 人 员 明 确 测 
试 工作 的 客观 标准 ， 减 少 任务 错误 ， 也 使 管理 人 员 能 够 有 章 可 循 地 、 更 为 准确 地 控制 
测试 进程 。 

e 有 利于 及 早 发 现 软件 需求 方面 的 问题 。 编 写 测试 计划 需要 参照 软件 需求 规格 说 明 书 
因此 可 能 会 发 现 一 些 需求 分 析 方 面 的 问题 。 需 求 问题 严重 影响 后 续 软 件 研发 质量 ， 其 
影响 范围 会 不 断 扩 大 。 因 此 ， 对 制定 测试 计划 时 发 现 的 需求 问题 进行 及 时 修正 可 以 避 
免 造成 较 大 的 软件 质量 偏差 。 

e 便于 软件 项 目 人 员 的 沟通 与 理解 。 测 试 计划 是 纲要 性 文件 ， 明 确 了 测试 人 员 的 工作 职 
责 划 分 和 工作 进度 ， 在 测试 目标 和 策略 等 方面 达成 了 人 员 共 识 ， 因 此 可 以 避免 测试 过 
程 中 测试 人 员 之 间 沟 通 与 理解 上 的 偏差 。 


2. 编写 测试 计划 的 注意 事项 


1) 单独 编写 测试 计划 还 是 为 每 个 测试 阶段 分 别 编写 测试 计划 

这 取决 于 软件 项 目的 规模 与 特点 。 对 于 一 般 的 中 小 型 软件 项 目 来 讲 ， 编 制 整体 的 测试 计划 
即 可 。 对 于 大 型 软件 项 目 来 讲 ， 可 以 分 别 为 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 制定 单 
独 的 测试 计划 ， 实 现 更 为 细致 的 计划 与 控制 。 可 能 会 形成 测试 风险 分 析 报告 、 测 试 任务 计划 、 
测试 实施 计划 、 质 量 保证 计划 等 一 系列 相关 计划 。 

另外 ， 根 据 软 件 项 目 特点 ， 也 可 以 为 性 能 测试 、 安 全 测试 等 不 同类 型 的 测试 任务 编制 专门 
的 测试 计划 。 例 如 ， 对 于 涉及 信号 采集 分 析 与 处 理 、 过 程 实 时 控制 、 高 可 靠 性 与 安全 性 的 系统 
来 讲 ， 一 般 需要 编制 全 面 的 性 能 测试 和 安全 性 测试 计划 ， 制 定 明确 的 质量 控制 指标 ， 保 证 系统 
满足 需求 。 

2) 做 好 测试 需求 分 析 

制定 测试 计划 首先 需要 明确 测试 需求 ， 确 定 要 测试 哪些 内 容 和 测试 到 什么 程度 ， 在 此 基础 
上 才能 进一步 确定 测试 的 策略 、 测 试 环境 、 测 试 所 需 人 员 、 测 试 工具 、 测 试 风险 等 。 测 试 计划 
是 与 软件 开发 活动 同步 进行 的 ， 完 成 软件 需求 分 析 的 同时 应 当 同 步 制 定 系统 测试 计划 和 验收 测 
试 计划 ; 完成 软件 概要 设计 和 详细 设计 后 ， 应 当 同 步 制 定 出 集成 测试 计划 和 单元 测试 计划 。 因 
此 可 以 看 出 ， 测 试 计划 的 制定 是 逐步 完成 的 ， 不 可 能 一 步 到 位 ， 需 要 深刻 理解 软件 项 目 需求 和 
设计 的 内 容 。 
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测试 需求 主要 通过 以 下 途径 来 收集 : 
e@ 与 测试 有 关 的 文档 ， 主 要 包括 项 目 计 划 书 、 项 目 可 行 性 分 析 报 告 、 软 件 需求 规格 说 明 
书 、 各 类 软件 设计 文档 以 及 前 期 项 目的 测试 计划 。 
e@ 业务 背景 资料 ， 例 如 软件 业务 领域 的 知识 等 。 
e 原 有 系统 功能 与 性 能 特性 。 当 以 全 新 的 体系 结构 方式 设计 和 完善 软件 时 ， 对 原 有 系统 
的 特性 分 析 是 测试 需求 的 主要 来 源 。 
e ”当前 企业 资源 状况 。 这 里 的 资源 包括 人 力 资源 、 软 硬件 资源 等 。 
测试 需求 分 析 主 要 包括 以 下 内 容 : 
e ”明确 需求 的 范围 ， 如 功能 点 的 数量 、 性 能 要 求 等 。 
e 理解 每 一 个 软件 功能 的 处 理 流程 和 业务 规则 。 
e@ 区 分 软件 业务 的 侧重 点 ， 划 分 测试 需求 的 优先 级 。 
e 挖掘 显 式 需求 背后 的 隐 含 需求 。 测 试 必须 具有 可 操作 性 ， 因 此 需要 明确 测试 需求 ， 例 
如 明确 软件 可 靠 性 、 易 用 性 、 性 能 等 方面 的 指标 。 
3) 增强 测试 计划 的 实用 性 
编写 测试 计划 要 从 实际 出 发 ， 避 免 流 于 形式 。 测 试 计划 包含 的 内 容 很 多 ， 为 了 能 够 真正 指 
导 测试 过 程 ， 并 且 从 管理 角度 具有 可 操作 性 ， 需 要 通过 以 下 一 些 方面 增强 其 实用 性 。 
根据 对 具体 软件 项 目的 测试 需求 分 析 ， 明 确 测试 目的 、 范 围 和 软件 质量 要 求 ， 给 出 可 量化 
和 可 度量 的 测试 目标 ， 避 免 宏 观 和 非 具 体 化 的 描述 。 
e@ 尽早 制定 测试 计划 ， 不 断 细 化 测试 任务 ， 保 证 测试 计划 的 灵活 性 ， 争 取 多 渠道 评审 测 
试 计划 以 保证 其 完整 性 、 正 确 性 和 可 行 性 。 
e ”软件 开发 是 一 个 渐进 的 过 程 ， 测 试 计划 需要 根据 需求 变更 做 出 及 时 调整 。 
e 考虑 实际 测试 资源 、 测 试 时 间 和 成 本 ， 确 定 切实 可 行 的 测试 策略 和 测试 方法 ， 选 择 实 
用 性 高 的 测试 工具 。 
4) 在 测试 计划 中 体现 “5W1H” 规 则 
What: 明确 测试 的 范围 和 内 容 。 
Why: 明确 测试 的 目的 。 
When: 确定 测试 的 周期 以 及 开始 与 结束 时 间 。 
Where: 给 出 测试 文档 和 软件 的 存放 位 置 。 
Who: 明确 测试 人 员 的 任务 分 配 。 
How: 给 出 测试 的 方法 和 工具 。 


7.3.2 ”测试 计划 的 主要 内 容 

实际 工作 中 , 一 般 按照 软件 测试 计划 模板 起 草 测试 计划 。 由 于 软件 企业 和 软件 项 目的 差异 ， 
测试 计划 的 内 容 会 有 所 不 同 ， 应 当 按 照 测试 项 目 实际 情况 对 模板 内 容 进行 合理 的 裁剪 与 灵活 的 
修改 。 可 以 参考 附录 C“ 软 件 测试 计划 模板 ”， 也 可 以 按照 图 7-7 所 示 的 由 正 EE 829-2008 标准 
规定 的 软件 测试 计划 大 纲 来 制定 测试 计划 。 
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软件 测试 靶 术 


主 测试 计划 纲要 阶段 测试 计划 纲要 
Master TestPlan Outline Level Test Plan Outline 
1. Introduction 1. Introduction 
1.1. Document identifier 1.1. Document identifier 
1.2. Scope 1.2. Scope 
1.3. References 1.3. References 


1.4. System overview and key features 
1.5. Test overview 
1.5.1 Organization 
1.5.2 Master test schedule 
1.5.3 Integrity level schema 
1.5.4 Resources summary 
1.5.5 Responsibilities 
1.5.6 Tools, techniques, methods, and metrics 
2. Details of the Master Test Plan 
2.1. Test processes including definition of test levels 
2.1.1 Process: Management 
2.1.1.1 Activity: Management of test effort 
2.1.2 Process: Acquisition 
2.1.2.1 Activity: Acquisition support test 
2.1.3 Process: Supply 
2.1.3.1 Activity: Planning test 
2.1.4 Process: Development 
2.1.4.1 Activity: Concept 
2.1.4.2 Activity: Requirements 
2.1.4.3 Activity: Design 
2.1.4.4 Activity: Implementation 
2.1.4.5 Activity: Test 
2.1.4.6 Activity: Installation/checkout 
2.1.5 Process: Operation 
2.1.5.1 Activity: Operational test 
2.1.6 Process: Maintenance 
2.1.6.1 Activity: Maintenance test 
2.2. Test documentation requirements 
2.3. Test administration requirements 
2.4. Test reporting requirements 
3. General 


3.1. Glossary 
3.2. Document change procedures and history 


1.4. Level in the overall sequence 
1.5. Test classes and overall test conditions 
. Details for this level of test plan 
2.1 Test items and their identifiers 
2.2 Test Traceability Matrix 
2.3 Features to be tested 
2.4 Features not to be tested 
2.5 Approach 
2.6 Item pass/fail criteria 
2.7 Suspension criteria and resumption requirements 
2.8 Test deliverables 
. Test management 
3.1 Planned activities and tasks; test progression 
3.2 Environment/infrastructure 
3.3 Responsibilities and authority 
3.4 Interfaces among the parties involved 
3.5 Resources and their allocation 
3.6 Training 
3.7 Schedules, estimates, and costs 
3.8 Risk(s) and contingency(s) 
4. General 
4.1 Quality assurance procedures 
4.2 Metrics 
4.3 Test coverage 


4.4 Glossary 
4.5 Document change procedures and history 


Be 


» 


图 7-7 JIEEE 829-2008 标准 规定 的 软件 测试 计划 大 纲 


无 论 按 照 哪 种 方式 撰写 测试 计划 ， 都 需要 界定 测试 范围 、 确 定 具 体 的 测试 策略 、 分 析 测 试 
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风险 、 规 划 测试 资源 、 制 定 测试 进度 ， 上 述 内 容 是 一 份 完整 的 测试 计划 的 主要 内 容 。 下 面 对 如 
何 制定 测试 计划 进行 详细 说 明 。 

1) 测试 计划 概要 

概况 性 地 描述 被 测 软件 的 基本 情况 。 介 绍 软件 的 应 用 领域 、 特 点 、 主 要 功能 和 性 能 、 运 行 
平台 、 版 本 号 等 基本 情况 ， 列 举 相关 参考 文档 和 测试 依据 文件 。 

2) 测试 目标 

对 整体 测试 目标 、 各 阶段 的 测试 目标 、 测 试 对 象 以 及 约束 进行 简要 说 明 ， 有 了 测试 目标 才 
能 有 针对 性 地 制定 测试 计划 。 

软件 测试 计划 的 基本 目标 都 是 在 有 限 的 测试 时 间 和 测试 成 本 的 条 件 下 尽早 和 尽量 多 地 发 现 
软件 缺陷 ， 满 足 用 户 的 需求 。 因 此 ， 需 要 从 用 户 需 求 出 发 ， 针 对 不 同 软件 系统 的 特点 制定 测试 
目标 。 例 如 ， 对 于 电子 商务 类 网 站 的 支付 功能 ， 需 要 制定 安全 性 测试 目标 ， 对 于 产品 类 软件 ， 
需要 制定 易 用 性 和 性 能 等 方面 的 测试 目标 。 

测试 目标 又 可 以 分 为 整体 测试 目标 、 各 阶段 测试 目标 和 特定 任务 目标 。 整 体 测试 目标 用 来 
确定 被 测 软 件 功 能 、 性 能 、 测 斌 覆盖 率 等 方面 的 期 望 目标 ， 阶 段 测 试 目标 对 单元 测试 、 集 成 测 
试 等 测试 执行 阶段 的 测试 目标 进行 细 化 ， 特 定 任务 目标 明确 了 安全 性 测试 、 易 用 性 测试 等 特定 
测试 项 目的 测试 目标 。 确 定 上 述 目 标 时 需要 分 析 具 体 业 务 功能 和 流程 ， 考 虑 测试 资源 和 测试 成 
本 的 限制 。 

3) 测试 范围 

说 明 软件 的 哪些 功能 和 性 能 需要 被 测试 到 ,重点 列 出 需要 测试 的 主要 功能 和 软件 关键 特性 ， 
与 测试 用 例 的 设计 相对 应 并 互相 检查 。 

测试 计划 的 这 一 部 分 主要 是 纲要 性 地 描述 对 哪些 内 容 进行 测试 ， 形 成 包括 所 有 测试 项 的 一 
览 表 ， 内 容 可 以 按照 功能 或 模块 进行 组 织 。 此 外 还 需要 说 明 不 需要 测试 、 无 法 测试 或 推迟 测试 
的 对 象 ， 并 且说 明理 由 。 有 时 会 对 软件 的 一 些 部 分 不 进行 测试 ， 它 们 可 能 是 以 前 发 布 过 的 或 是 
已 经 被 测试 过 的 软件 部 分 。 当 实际 测试 进度 远 远 落后 于 计划 进度 时 ， 会 将 一 些 低 风险 的 附属 功 
能 测试 项 标记 为 推迟 测试 。 

实际 工作 中 ， 为 了 及 时 发 布 软件 ， 开 发 和 测试 的 时 间 一 般 都 有 严格 的 限制 ， 软 件 的 质量 目 
标 是 必须 达到 的 ， 在 这 种 约束 情况 下 能 够 调整 的 只 有 测试 范围 。 例 如 ， 在 测试 时 间 紧 迫 的 情况 
下 ， 通 常 优先 完成 重要 功能 的 测试 就 属于 测试 范围 的 调整 。 因 此 ， 在 制定 测试 计划 时 ， 需 要 根 
据 软 件 项 目 整体 开发 计划 的 时 间 来 确定 测试 范围 。 如 果 确 定 的 测试 范围 不 合理 ， 会 给 测试 计划 
的 执行 带 来 消极 影响 ， 例 如 频繁 加 班 或 者 软件 延迟 发 布 。 

确定 测试 范围 前 需要 测试 管理 人 员 进 行 测试 任务 分 解 。 划 分 任务 有 两 个 主要 目的 ， 一 是 识 
别 子 任务 ， 二 是 方便 估算 这 些 子 任务 所 需要 的 测试 时 间 和 资源 。 理 想 意义 上 的 完全 测试 是 不 存 
在 的 ， 因 此 一 般 在 测试 计划 中 需要 对 测试 范围 做 出 合理 的 、 有 策略 的 妥协 。 

4) 测试 策略 

测试 策略 是 测试 计划 中 最 为 核心 的 内 容 ， 规 定 了 对 测试 对 象 进行 测试 的 推荐 方法 。 对 于 每 
一 种 测试 任务 、 每 个 阶段 的 测试 都 应 当 提供 相应 的 测试 说 明 ， 解 释 采 用 特定 测试 方法 和 技术 的 
原因 以 及 判断 测试 何 时 可 以 完成 的 标准 ， 并 且说 明 对 测试 成 功 与 否 起 到 决定 作用 的 所 有 相关 问 
题 。 因 此 ， 这 部 分 内 容 被 标记 为 “策略 ”而 不 是 单独 的 “方法 ”。 

测试 策略 是 测试 计划 的 内 容 之 一 , 与 测试 计划 的 关系 就 像 “ 战 略 ”与 “战术 ”的 关系 一 样 。 
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测试 计划 从 全 局 角度 说 明了 测试 项 目的 需求 、 测 试 任务 、 测 试 方法 和 进度 安排 ， 而 测试 策略 是 
从 局 部 角度 说 明 针 对 具体 测试 任务 应 当 如 何 实施 测试 。 因此 , 这 一 部 分 的 内 容 通常 会 较为 细致 ， 
会 涉及 测试 的 可 操作 性 细节 ， 篇 幅 往往 较 大 ， 对 于 大 型 测试 项 目 来 讲 可 以 单独 编写 。 
测试 策略 的 作用 主要 反映 在 以 下 几 个 方面 : 
e 任何 穷 举 测试 都 是 不 现实 的 ， 必 须根 据 测试 任务 的 特点 选择 合适 的 测试 方法 和 手段 ， 
例如 具体 的 黑 盒 测 试 或 白 盒 测 试 技术 。 
e 实际 测试 项 目的 时 间 、 成 本 和 测试 资源 都 是 有 限 的 ， 需 要 在 不 同 的 测试 方案 中 找到 一 
个 最 佳 平衡 点 。 在 保证 软件 质量 的 前 提 下 考虑 测试 约束 条 件 ， 用 最 少 的 测试 工作 量 去 
发 现 尽 可 能 多 的 软件 缺陷 。 通 过 充分 估计 测试 的 工作 量 、 测 试 时 间 、 测 试 难度 、 测 试 
资源 等 因素 ， 决 定 测试 资源 的 合理 利用 方式 。 
。 测试 任务 数量 众多 ， 需 要 划分 轻重 缓急 。 在 分 析 软 件 主要 功能 、 性 能 对 用 户 的 影响 程 
度 的 基础 上 ， 确 定 测试 的 重点 任务 和 优先 顺序 ， 满 足 软 件 的 主要 质量 需求 。 
。 测试 工作 虽然 不 能 保证 发 现 所 有 的 缺陷 ， 但 是 也 不 能 遗漏 过 多 的 缺陷 。 测 试 策 略 规定 
了 判定 测试 有 效 性 的 准则 ， 例 如 测试 覆盖 率 、 各 种 性 能 测试 指标 等 ， 保 证 了 测试 的 有 
效 性 。 
e 测试 策略 考虑 了 何 时 采用 手工 测试 、 何 时 采用 自动 化 测试 以 及 采用 什么 测试 工具 ， 因 
此 可 以 提高 测试 的 效率 。 
。 通过 制定 测试 策略 可 以 使 项 目 组 成 员 对 如 何 完成 测试 达成 一 致意 见 。 
那么 ， 具 体 应 当 如 何 制定 测试 策略 呢 ? 首先 应 当 明 确 的 是 ， 测 试 策略 的 制定 是 以 测试 目标 
为 驱动 的 , 在 整个 策略 制定 过 程 中 都 应 当 考虑 测试 项 目的 实际 约束 。 这 里 的 约束 包括 软件 规模 、 
软件 结构 、 软 硬件 资源 、 测 试 时 间 、 测 试 人 员 的 能 力 等 。 可 以 针对 不 同 测试 阶段 (单元 测试 、 集 
成 测试 、 系 统 测试 、 验 收 测试 或 测试 任务 (界面 测试 、 性 能 测试 、 安 全 性 测试 、 兼 容 性 测试 等 ) 
的 测试 目标 制定 具体 的 测试 策略 ， 例 如 借助 测试 工具 完成 高 频 集成 测试 ， 通 过 完备 的 性 能 指标 
保证 性 能 测试 的 有 效 性 。 
测试 策略 的 制定 通常 包括 以 下 一 些 主 要 步 又 : 
。 分 析 测 试 输入 。 测 试 输入 包括 功能 需求 和 非 功能 需求 、 用 户 特点 、 测 试 目 标 、 测 试 资 
源 、 原 有 测试 项 目的 测试 结果 与 经 验 、 测 试 方法 和 标准 对 测试 的 影响 等 。 
e 确定 测试 需求 。 明 确 测试 的 总 体内 容 以 及 具体 测试 任务 。 
e 评估 测试 风险 。 对 各 项 测试 内 容 可 能 遇 到 的 测试 风险 进行 分 析 与 评估 ， 在 有 限 的 测试 
资源 和 测试 风险 之 间 做 出 平衡 。 例 如 ， 性 能 测试 可 能 会 耗费 过 多 的 测试 时 间 ， 影 响 测 
试 按时 完成 ， 因 此 可 以 将 性 能 测试 划分 为 不 同 的 层次 ， 重 点 测试 用 户 最 为 关注 的 软件 
部 分 ， 对 用 户 不 太 关注 的 部 分 仅 做 功能 测试 。 
e 确定 测试 优先 级 。 对 不 同 的 测试 内 容 或 测试 任务 设 定 不 同 的 优先 级 ， 突 出 测试 重点 ， 
按照 优先 级 安排 测试 的 先后 顺序 ， 保 证 测试 效率 和 测试 进度 。 
e 制定 具体 策略 。 根 据 测 斌 类型、 测试 目标 、 测 试 阶段 采用 相应 的 测试 技术 ， 选 择 合适 
的 测试 工具 ， 制 定 评估 测试 结果 的 方法 和 标准 ， 分 析 具 体 策略 对 测试 的 影响 。 
常见 的 测试 策略 有 基于 测试 技术 的 测试 策略 、 基 于 测试 方案 的 测试 策略 和 基于 缺陷 分 析 的 
测试 策略 等 。 
e 基于 测试 技术 的 测试 策略 。 各 种 黑 盒 与 白 盒 测 试 技术 都 是 针对 具体 测试 内 容 特点 ， 力 
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求 以 最 少 的 测试 用 例 达 到 最 大 的 测试 效果 。 因 此 ， 可 以 制定 各 种 测试 技术 的 综合 使 用 
策略 。 例 如 Myers 给 出 的 黑 盒 测试 综合 策略 : 在 任何 情况 下 都 必须 使 用 边界 值 分 析 法 ， 
必要 时 用 等 价 类 划分 法 补充 测试 用 例 ， 用 错误 推测 法 追加 和 完善 测试 用 例 ， 检 查 测试 
用 例 数量 以 达到 覆盖 率 要求 ， 当 遇 到 程序 输入 条 件 组 合 情 况 时 一 开始 就 选用 因果 图 法 。 
e 基于 测试 方案 的 测试 策略 。 从 测试 内 容 的 重要 性 、 对 用 户 使 用 软件 的 影响 程度 方面 出 
发 ， 确 定 测试 重点 和 优先 级 。 从 测试 成 本 、 测 试 有 效 性 方面 出 发 ， 得 到 对 以 上 两 点 的 
最 佳 平衡 策略 。 
e 基于 缺陷 分 析 的 测试 策略 。 根 据 历史 测试 项 目的 缺陷 分 析 结 果 ， 指 导 当 前 测试 策略 的 
制定 ， 针 对 测试 薄弱 环节 进行 加 强 和 改进 。 也 可 以 规定 对 当前 测试 项 目的 缺陷 分 析 内 
容 和 阶段 分 析 监 测 点 ， 以 便于 及 时 监控 测试 过 程 的 完成 情况 。 
5) 测试 阶段 的 定义 与 完成 标准 
描述 测试 的 各 个 阶段 ， 例 如 单元 测试 、 集 成 测试 和 系统 测试 ， 并 说 明 测试 计划 中 针对 的 测 
试 类 型 ， 例 如 功能 测试 或 性 能 测试 ， 描 述 测试 通过 或 失败 的 标准 ， 确 定 中 断 测试 或 恢复 测试 的 
判断 准则 。 
测试 通过 或 失败 的 标准 一 般 是 由 成 功 或 失败 的 测试 用 例 数量 、 测 试 覆 盖 率 、 缺 陷 数 量 、 缺 
陷 严重 性 以 及 软件 可 靠 性 和 稳定 性 等 来 描述 的 。 针 对 不 同 软件 企业 和 软件 项 目 ， 测 试 通过 或 失 
败 的 标准 会 有 所 不 同 。 可 以 参考 以 下 一 些 标准 : 
。 测试 覆盖 率 ， 例 如 100% 的 单元 测试 代码 覆盖 率 。 
软件 缺陷 在 数量 、 严 重 性 上 的 分 布 情况 。 
成 功 执行 测试 用 例 的 百分比 。 
某 些 性 能 测试 标准 ， 例 如 事务 成 功 处 理 率 大 于 98%， 响 应 时 间 小 于 5 秒 。 
阶段 性 测试 文档 的 完整 性 。 
通常 有 以 下 一 些 中 断 测试 的 标准 : 
。 达到 某 一 预定 数量 的 缺陷 总 数 。 
e 出 现 某 一 严重 程度 的 缺陷 。 
e 被 测 软件 未 实现 主要 功能 。 
。 测试 环境 不 满足 要 求 或 必需 的 测试 资源 短缺 。 
一 般 在 修复 软件 缺陷 、 重 新 设计 和 开发 软件 的 某 个 部 分 后 恢复 测试 。 
6) 测试 完成 后 提交 的 材料 
规定 的 提交 物 包括 测试 过 程 中 所 涉及 的 所 有 测试 文档 以 及 自 定义 测试 工具 , 例如 测试 计划 、 
测试 设计 说 明 书 、 测 试用 例 、 软 件 缺 陷 报告 、 测 试 总 结 报告 等 
7) 测试 配置 
在 测试 之 前 ， 制 定 出 完成 测试 目标 所 必需 的 软 硬 件 资源 、 必 备 的 测试 工具 以 及 相关 的 技术 
资源 和 培训 需求 。 在 这 部 分 内 容 中 ， 任 何 测试 所 需 资源 都 需要 考虑 到 ， 具 体 需求 取决 于 软件 企 
业 、 特 定 项 目 和 具体 测试 目标 。 需 要 做 好 成 本 预算 ， 避 免 测 试 后 期 发 现 资源 短缺 时 ， 难 以 甚至 
无 法 获得 所 需 测试 资源 。 
8) 人 员 组 织 与 职责 
说 明 测试 项 目 中 的 人 力 资源 安排 情况 ， 确 定 测试 人 员 的 工作 职责 划分 及 其 管理 权限 。 测 试 
项 目 中 的 测试 任务 类 型 很 多 ， 涉 及 测试 计划 、 设 计 、 执 行 、 评 估 等 众多 环节 ， 某 些 任务 会 有 多 
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个 执行 者 或 者 由 多 个 测试 人 员 共同 负责 。 因 此 ， 必 须 明确 规定 测试 任务 的 负责 人 、 执 行人 和 参 
与 人 员 ， 避 免 因 职责 不 清 导 致 工作 效率 低下 的 情况 发 生 。 

9) 测试 进度 

进度 控制 是 测试 计划 的 主要 内 容 之 一 ， 需 要 分 析 主要 测试 阶段 和 测试 任务 所 需要 的 时 间 ， 
给 出 相应 的 时 间 进 度 表 。 不 仅 要 考虑 执行 测试 的 时 间 ， 还 需要 将 测试 计划 、 用 例 设 计 、 搭 建 测 
试 环境 、 编 写 测试 报告 的 时 间 考 虑 在 内 。 

从 本 质 上 讲 ， 测 试 进度 是 对 测试 任务 、 测 试 风险 、 所 需 人 力 和 物力 资源 的 综合 反映， 缺乏 
对 上 述 问题 的 考虑 而 制定 的 测试 进度 是 毫 无 意义 的 。 制 定 测试 进度 计划 时 一 般 需要 考虑 以 下 一 
些 问 题 : 

e 软件 项 目的 整体 研发 周期 限制 。 

e@ 已 有 的 软件 开发 阶段 进度 计划 。 

e 测试 内 容 和 测试 任务 的 特点 。 例 如 ， 对 具有 复杂 业务 流程 或 高 技术 复杂 性 的 关键 模块 
进行 测试 ， 以 及 稳定 性 、 可 靠 性 、 安 全 性 和 性 能 等 方面 的 测试 需要 更 多 的 时 间 。 如 果 
软件 需要 支持 多 种 平台 ， 相 应 的 兼容 性 测试 也 需要 大 量 的 测试 时 间 。 

e@ 测试 风险 的 严重 程度 、 数 量 、 原 因 及 应 对 难度 。 

e 测试 人 员 状 况 。 可 供 调配 的 测试 人 员 数 量 及 其 个 人 测试 能 力 。 

e 搭建 测试 平台 所 需要 的 软 硬 件 资源 状况 。 

e 被 测 软 件 部 分 的 测试 用 例 数量 。 

在 实际 测试 工作 中 ， 测 试 进度 会 受到 不 同情 况 的 影响 ， 经 常会 发 生 测试 不 能 按 进度 完成 的 
情况 。 因 此 ， 进 度 计划 应 当 着 眼 于 整体 进度 控制 并 且 保持 一 定 的 灵活 性 。 例 如 ， 对 难以 准确 估 
计 测 试 时 间 的 测试 任务 给 出 最 早 完成 时 间 和 最 晚 完 成 时 间 ， 留 出 必要 的 缓冲 时 间 以 防止 临时 的 
测试 任务 变更 。 避 免 规 定 具体 的 测试 任务 启动 和 停止 时 间 ， 采 用 相对 日 期 表示 测试 任务 之 间 的 
依赖 关系 , 例如 将 一 项 任务 的 进度 规定 为 : “在 A 项 测试 任务 完成 后 若干 天 内 完成 B 项 测试 任 
务 ”。 目前 主要 的 测试 管理 工具 中 都 包含 测试 进度 管理 功能 , 例如 可 以 采用 Microsoft 的 测试 管 
理 器 Team Foundation Server(TFS) 来 制定 测试 进度 管理 计划 。 

10) 风险 分 析 

列 出 所 有 可 能 会 影响 测试 设计 、 开发 或 实施 的 风险 或 意外 事件 , 并 且 给 出 避免 和 应 对 措施 。 
某 些 测 试 风险 并 不 一 定 会 实际 发 生 ， 但 是 尽早 明确 指出 可 以 避免 在 测试 晚期 发 现时 无 法 应 对 。 
同时 ， 列 出 可 能 的 测试 风险 有 助 于 测试 人 员 将 主要 精力 集中 于 最 有 可 能 发 生 失 效 的 软件 部 分 。 
以 下 是 一 些 常 见 的 测试 风险 及 其 预防 和 处 理 措施 ， 在 实际 制定 测试 计划 时 可 以 予以 参考 。 

e 缺乏 详细 的 需求 与 设计 文档 。 软 件 需 求 不 明确 、 设 计 内 容 不 够 详细 会 造成 无 法 准确 地 

确定 测试 需求 和 测试 范围 。 这 就 要 求 测试 人 员 在 软件 开发 初期 就 全 面 参 与 软件 需求 和 
设计 工作 ， 与 开发 人 员 及 时 沟通 ， 对 主要 模块 功能 进行 分 类 ， 理 解 主要 业务 流程 和 实 
现 逻 辑 。 

e 软件 质量 标准 不 清晰 。 质 量 标准 决定 了 相关 问题 是 否 可 以 判断 为 软件 缺陷 ， 例 如 缺乏 
统一 的 界面 设计 规范 ， 性 能 指标 不 够 具体 。 缺 乏 质量 标准 时 需要 项 目 管理 人 员 确认 测 
试 标准 。 

e 项 目 计划 频繁 变更 。 项 目 计 划 及 其 变更 一 定 要 形成 文档 ， 以 便于 测试 人 员 及 时 理解 变 
更 情况 及 其 影响 ， 制 定 出 合理 有 效 的 应 对 策略 。 
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e 不 现实 的 软件 交付 日 期 或 交付 日 期 变更 。 与 用 户 和 项 目 管理 人 员 充 分 沟通 ， 及 时 调整 

测试 范围 、 测 试 策略 和 测试 资源 等 。 

。 测试 资源 不 足 或 不 能 及 时 到 位 。 例 如 设备 或 网 络 等 资源 原因 造成 测试 不 全 面 ， 需 要 在 

测试 计划 中 详细 列 出 所 需 软 硬件 资源 。 

e。 人 力 资源 风险 。 测 试 人 员 数 量 、 能 力 、 行 为 规范 方面 的 问题 ， 需 要 使 测试 人 员 尽 早 介 

入 测试 项 目 、 加 强 培训 、 严 格 人 员 管理 。 

e 现场 定制 开发 。 这 种 情况 下 的 软件 上 线 时 间 压 力 一 般 很 大 ， 会 造成 留 给 测试 的 时 间 紧 
迫 、 测 试 不 充分 ， 一 般 需要 建立 统一 管理 下 的 测试 与 开发 小 组 以 便于 及 时 沟通 ， 灵 活 
地 安排 测试 活动 。 

e 复杂 度 很 高 或 经 历 过 频繁 修改 和 变更 的 模块 。 重 点 对 此 类 模块 的 功能 、 性 能 和 逻辑 结 
构 进行 分 析 ， 设 计 测试 深度 合理 的 测试 用 例 。 

e 与 第 三 方 系统 的 接口 。 检 查 与 第 三 方 系统 连接 的 接口 是 否 符合 标准 规范 。 

e 涉及 软件 安全 性 、 可 靠 性 和 性 能 的 一 些 难以 测试 的 问题 。 例 如 ， 对 于 分 布 式 、 消 息 驱 
动 、 时 序 关系 复杂 的 软件 系统 来 讲 ， 一 些 缺 陷 难 以 捕捉 ， 需 要 确认 系统 具有 详细 的 日 
志 记 录 功 能 。 

除了 上 述 列 出 的 测试 风险 之 外 ， 实 际 测试 工作 中 还 会 遇 到 很 多 其 他 的 风险 因素 。 因 此 ， 风 
险 分 析 是 一 项 十 分 艰巨 的 工作 ， 非 常 考验 测试 管理 人 员 对 于 软件 产品 的 理解 和 测试 经 验 ， 尤 其 
在 第 一 次 尝试 时 更 是 如 此 。 

在 实际 执行 测试 计划 时 ， 也 可 以 通过 一 些 方式 来 控制 风险 ， 一 般 是 通过 避免 、 转 移 或 降低 
风险 三 种 策略 来 有 效 控制 测试 风险 。 

不 清晰 的 测试 需求 和 质量 标准 等 问题 是 可 以 避免 的 ， 通 过 提高 软件 过 程 成 熟 度 、 彻 底 改变 
测试 项 目的 管理 方式 才能 够 从 根本 上 避免 风险 。 对 于 可 能 产生 严重 后 果 的 风险 要 尽量 将 其 转换 
为 一 些 不 会 引起 严重 后 果 的 低 风 险 ， 例 如 在 软件 发 布 前 暂时 去 掉 某 个 不 是 很 重要 的 新 功能 ， 对 
该 功能 中 发 现 的 严重 缺陷 转移 到 下 一 版 本 中 进行 修改 。 对 于 不 可 避免 的 风险 ， 可 以 通过 提高 测 
试用 例 的 覆盖 率 来 降低 这 种 风险 ， 将 难以 控制 的 风险 因素 列 入 风险 管理 计划 ， 对 所 有 测试 工作 
加 强 测试 人 员 之 间 的 互相 审查 ， 对 所 有 测试 过 程 进行 日 常 跟踪 以 及 时 发 现 风险 出 现 的 征兆 。 


[测试 文档 管理 


测试 文档 的 编写 与 管理 是 整个 测试 管理 工作 的 重要 组 成 部 分 之 一 。 测 试 文档 不 是 在 测试 执 
行 阶段 才 开始 考虑 的 ,在 软件 开发 初期 的 需求 分 析 阶 段 就 已 经 开始 编写 。 对 测试 的 需求 、 计 划 、 
具体 测试 过 程 、 测 试 结果 及 其 分 析 与 评价 都 是 以 正式 的 文档 形式 给 出 的 ， 测 试 文档 对 于 整个 测 
试 工作 起 着 非常 明显 的 指导 和 评价 作用 ， 因 此 是 测试 管理 的 重要 环节 之 一 。 测 试 文档 管理 包括 
对 测试 文档 的 分 类 管理 、 格 式 和 模板 管理 、 一 致 性 管理 和 存储 管理 等 内 容 。 

首先 需要 清楚 测试 文档 的 主要 类 型 。IEEE 829-2008 “JTEEE Standard for Software and System 
Test Documentation” 给 出 了 一 个 测试 项 目 所 应 当 编写 的 测试 文档 及 其 相互 关系 ， 如 图 7-8 和 图 
7-9 所 示 。 
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一 。 测试 完整 性 等 级 方案 
二 让 。 整体 测试 过 程 、 活 动 和 任务 
(MTP) 。 确定 测试 包含 的 阶段 和 测试 文档 


验收 测试 计划 | | 系统 测试 计划 | | 集成 测试 计划 | “| 单元 测试 计划 = 出 区 直 浊 
(LTP) (LIP) (LTP) (LIP) 。 测试 方法 


| | 


验收 测试 计划 i 注意 ; 这 里 的 测试 阶段 仅仅 是 测试 过 程 示意 ， 可 
(LIP) {mst 以 有 不 同类 型 和 数量 的 测试 阶段 ,这 里 只 给 出 验 
收 测试 后 续 文档 ， 其 他 阶段 后 续 文档 类 似 。 


验收 测试 用 例 Ew 验收 测试 过 程 {ma sri 
(LTO) “输出 (LIPD 


执行 测试 
图 7-8 IEEE 829-2008 中 规定 的 前 置 测试 文档 
执行 测试 测试 阶段 中 期 。 测试 过 程 和 
报告 (LITSR) 结果 概要 
。 所 有 详 上 | 阶段 测试 日 志 异常 报告 | / 
pnd (I) (AR) |“ 不正 确 或 不 希望 出 现 的 结果 
验收 测试 报告 | | 系统 测试 报告 | | 集成 测试 报告 | | 单元 测试 报告 
(LTR) (LTR) LIR) (LIR) 


主 测试 报告 。 总 体 通 过 或 失败 的 测试 
(MTR) 。 总 体 测试 结果 


图 7-9 IEEE 829-2008 中 规定 的 后 置 测试 文档 


测试 文档 主要 分 为 前 置 测试 文档 和 后 置 测试 文档 两 种 类 型 ， 以 执行 测试 前 后 进行 划分 。 测 
试 计划 、 测 试 设计 和 测试 用 例 属于 前 置 测试 文档 ， 阶 段 测 试 日 志 、 异 常 报告 、 测 试 阶段 中 期 状 
态 报告 、 各 测试 阶段 报告 和 最 后 的 主 测试 报告 都 属于 后 置 测试 文档 。 

由 于 测试 过 程 中 包含 不 同 的 执行 阶段 , 一 些 文档 又 被 明确 标注 为 属于 主 (MasteD 测 试 文档 或 
阶段 (Level 测试 文档 ， 例 如 测试 计划 分 为 主 测试 计划 (MIP，Master Test Plan) 和 阶段 测试 计划 
(LIP，Level Test Plan)。 
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IEEE 829-2008 中 规定 了 如 下 测试 文档 : 

。 主 测试 计划 QMTP，Master Test Plan)。MTR 是 总 体 测试 计划 和 测试 管理 文档 ， 是 针对 软 
件 需求 和 项 目 质 量 保障 的 计划 ， 包 括 选择 测试 对 象 、 制 定 测试 目标 、 分 配 测试 资源 、 
分 析 测 试 风险 、 定 义 测试 控制 措施 、 确 定 测试 完整 性 等 级 计划 等 内 容 。 

e 阶段 测试 计划 (LTP，Level Test Plan)。 说 明 特定 测试 阶段 的 测试 范围 、 方 法 、 资 源 和 测 
试 活动 进度 安排 ， 识 别 和 说 明 测 试 项 、 测 试 特性 、 所 需 执行 的 测试 任务 、 针 对 每 项 任 
务 的 人 员 职 责 和 相关 风险 。 对 于 大 多 数 测试 项 目 来 讲 ， 不 同 测试 阶段 需要 不 同 的 测试 
资源 、 方 法 和 环境 ， 因 此 每 个 阶段 最 好 用 单独 的 计划 来 描述 。 

e 阶段 测试 设计 CTD,，Level Test Design)。 说 明 需 要 测试 的 软件 特性 及 其 测试 通过 或 失败 
的 度量 指标 ， 进 一 步 详细 说 明 测 试 计划 中 给 出 的 测试 方法 ， 规 定 测试 的 可 交付 成 果 。 

e 阶段 测试 用 例 (LTC，Level Test Case)。 给 出 本 阶段 的 所 有 测试 用 例 。 

e 阶段 测试 过 程 (LTPr，Level Test Procedure)。 说 明 测试 用 例 的 执行 步骤 ， 或 是 为 了 评估 
软件 产品 或 基于 软件 的 系统 的 一 系列 特性 所 需 执行 的 操作 步骤 。 

e 阶段 测试 日 志 (LTL，Level Test Log)。 有 关 测 试 执行 情况 的 细节 记录 。 

e 异常 报告 (AR，Anomaly Report)。 说 明 在 测试 过 程 中 发 生 的 任何 需要 调查 研究 的 异常 或 
错误 事件 。 

e 测试 阶段 中 期 状态 报告 LITSR，Level Interim Test Status Report)。 这 一 报告 的 目的 是 总 
结 特定 测试 活动 的 结果 ， 根 据 结 果 有 选择 性 地 给 出 测试 评价 和 建议 ， 说 明 测试 计划 的 
变化 情况 。 

e@ 阶段 测试 报告 LTR，Level TestReporb。 每 一 个 测试 阶段 都 有 相应 的 阶段 测试 报告 ， 用 
于 对 阶段 测试 活动 进行 总 结 ， 根 据 测试 结果 给 出 评价 与 建议 。 规 模 很 小 的 软件 项 目 可 
以 对 多 个 测试 阶段 报告 进行 合并 。 阶 段 测试 报告 的 内 容 细节 会 有 很 大 不 同 ， 例 如 单元 
测试 报告 可 能 只 是 简单 陈述 测试 通过 或 失败 的 情况 ， 而 验收 测试 报告 可 能 包含 更 多 的 
细节 内 容 。 

@ 主 测试 报告 (MTR，Master Test Report)。 主 测试 报告 与 主 测试 计划 相对 应 ， 只 要 制定 和 
实施 了 主 测试 计划 ， 就 必须 编写 对 应 的 主 测试 报告 来 描述 计划 的 实施 结果 ， 对 整个 测 
试 活动 的 结果 进行 总 结 和 评价 。 

针对 测试 项 目的 实际 情况 ， 可 以 对 上 述 一 些 测试 文档 进行 合并 或 者 去 掉 一 些 重复 和 不 必要 


的 文档 。 例 如 ， 可 以 将 一 个 测试 过 程 及 其 包含 的 多 个 测试 用 例 合并 为 独立 的 文档 ， 并 且 去 掉 原 
有 文档 中 重复 的 部 分 。 根 据 测试 计划 中 规定 的 测试 完整 性 等 级 方案 (Integrity Level Scheme)， 可 
以 决定 哪些 测试 文档 可 以 被 去 掉 。 


测试 完整 性 等 级 用 于 区 别 测试 的 重要 程度 ， 决 定 了 测试 的 广度 和 深度 。 可 以 基于 功能 、 性 
、 安 全 性 或 其 他 软件 特性 ， 对 需求 、 单 个 功能 、 一 组 功能 、 软 件 单元 和 子 系统 的 完整 性 等 级 


进行 设置 。 例 如 ， 可 以 制定 如 表 7-3 所 示 的 四 级 完整 性 等 级 计划 。 每 一 个 等 级 所 需要 的 测试 文 
档 如 表 7-4 所 示 。 
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表 7-3 ”测试 完整 性 等 级 计划 
测试 完整 性 等 级 说 明 


必须 能 够 正确 执行 ， 否 则 会 造成 系统 崩 演 、 系 统 无 法 正常 使 用 、 重 要 数据 遭 到 破坏 


| 并 且 无 法 修复 等 严重 问题 

| 必须 能 够 正确 执行 ， 否 则 会 造成 系统 部 分 主要 功能 无 法 使 用 、 部 分 系统 功能 缺失 ， 
可 能 会 引起 系统 崩 演 ， 引 发 严重 的 安全 性 问题 

i | 测试 结果 的 正确 与 否 影响 到 用 户 能 否 有 效 地 使 用 软件 系统 ， 该 测试 部 分 出 现 缺陷 会 


造成 系统 功能 不 正确 、 性 能 低下 、 系 统 不 稳定 等 问题 


1( 可 以 忽略 ) 软件 中 可 能 存在 一 些微 小 的 造成 用 户 使 用 不 便 的 问题 ， 但 并 不 影响 用 户 的 最 终 使 用 


表 7-4 ”测试 完整 性 等 级 所 对 应 的 测试 文档 


测试 完整 性 等 级 选择 的 测试 文档 


MIP、LIP、LID、LIC、LTIPr、LIL、AR、LIITSR、LIR、MIR. 
MIP、LIP、LID、LIC、LTIPr、LIL、AR、LITSR、LIR、MIR. 


LTP、LID、LTC、LTPr、LTR、LTL、AR、LITSR、LTR. 
1( 可 以 忽略 ) LTP、 LID、 LTC、 LTPr. 


从 以 上 测试 文档 的 类 型 可 以 看 出 ， 针 对 一 个 测试 项 目 会 产生 很 多 测试 文档 ， 并 且 绝 大 多 数 
都 是 电子 文档 ， 需 要 采用 专门 的 文档 管理 工具 对 其 进行 分 类 管理 ， 以 便于 进行 查阅 、 修 改 和 权 
限 控制 。 

为 了 方便 编制 文档 ， 应 当 为 每 一 类 测试 文档 分 别 建立 统一 的 文档 模板 。 这 样 可 以 提高 编制 
效率 ， 同 时 增强 文档 的 规范 性 与 质量 。 模 板 的 制作 可 以 参考 相关 标准 ， 但 不 必 完 全 拘泥 于 形式 。 
应 当 根据 本 软件 企业 和 软件 项 目的 具体 情况 ， 对 标准 模板 的 内 容 进行 合理 裁 前 ， 不 断 改进 模板 
内 容 以 增强 实用 性 。 

测试 文档 是 前 后 依赖 的 ， 例 如 测试 设计 依赖 于 测试 计划 。 因 此 对 编制 好 的 测试 文档 一 定 要 
进行 必要 的 审核 ， 做 好 文档 的 一 致 性 检查 ， 避 免 测试 对 象 、 测 试 度量 指标 等 内 容 在 多 个 文档 中 
不 一 致 的 情况 发 生 。 


软件 配置 管理 


7.5.1 软件 配置 管理 的 作用 


软件 配置 管理 (Software Configuration Management，SCMD 是 一 种 标识 、 组 织 和 控制 软件 变 
更 的 技术 。 软 件 配置 管理 与 软件 开发 过 程 紧密 相关 ， 目 的 是 建立 和 维护 软件 产品 的 完整 性 和 一 
致 性 。 

实际 软件 测试 工作 中 经 常会 碰 到 如 下 一 些 由 于 缺乏 软件 配置 管理 而 产生 的 问题 : 

e 缺陷 只 在 测试 环境 中 出 现 ， 但 是 在 开发 环境 中 无 法 重 现 。 

e 已 经 修复 的 缺陷 在 进行 新 版 本 软件 测试 时 又 再 次 出 现 。 

e 程序 发 布 前 已 经 通过 内 部 测试 ， 但 是 发 布 时 却 出 现 软件 运行 失效 的 问题 。 
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产生 上 述 问题 的 主要 原因 是 软件 开发 过 程 中 涉及 众多 的 研发 阶段 、 软 件 组 成 部 分 、 人 员 、 
工具 、 环 境 等 因素 ， 软 件 不 断 地 被 开发 、 测 试 、 修 改 和 升级 。 如 果 不 能 及 时 识别 和 控制 软件 变 
更 并 且 向 所 有 人 员 统 一 展示 软件 的 当前 状态 ， 会 造成 软件 开发 过 程 的 混乱 。 

软件 配置 管理 的 作用 主要 体现 在 以 下 一 些 方面 : 


7.5.2 


支持 并 行 开发 。 能 够 实现 开发 人 员 同 时 对 同一 个 程序 进行 开发 和 修改 ， 即 使 是 跨 地 域 
的 分 布 式 开发 也 能 互 不 干扰 和 协同 工作 ， 解 决 多 个 用 户 对 同一 程序 进行 开发 和 修改 所 
引起 的 版 本 不 一 致 问题 。 

资源 共享 。 提 供 良好 的 软件 资源 存储 和 访问 机 制 ， 开 发 人 员 可 以 共享 开发 资源 ， 解 决 
多 个 用 户 对 同一 文件 同时 修改 所 引起 的 资源 冲突 问题 。 

变更 请 求 管理 。 跟 踪 和 管理 开发 过 程 中 出 现 的 缺陷 、 功 能 变更 请 求 或 任务 ， 加 强 软件 
研发 人 员 之 间 的 沟通 和 协作 ， 使 他 们 能 够 及 时 了 解 变 更 的 状态 。 

版 本 控制 。 跟 踪 每 一 个 软件 版 本 变更 的 创造 者 、 时 间 和 原因 ， 从 而 提高 发 现 软件 缺陷 
的 效率 。 能 够 重 现 软件 的 任何 一 个 历史 版 本 。 

软件 发 布 管理 。 软 件 项 目 经 理 能 够 及 时 和 清晰 地 了 解 项 目的 当前 状态 ， 管 理 和 计划 软 
件 的 变更 ， 与 软件 的 发 布 计 划 和 质量 保证 计划 保持 一 致 。 

软件 构建 管理 。 通 过 配置 管理 系统 实现 自动 化 的 软件 构建 过 程 。 

软件 过 程控 制 。 贯 彻 实 施 正规 化 的 开发 规范 ， 避 免 过 程 混乱 。 


软件 配置 管理 的 重点 工作 


一 般 来 说 ， 软 件 配置 管理 包括 以 下 5 项 最 为 重要 的 活动 。 

1) 配置 项 识别 

配置 项 识别 就 是 将 软件 配置 项 按 规定 统一 编号 ， 将 配置 项 划分 为 基线 配置 项 和 非 基 线 配置 
项 ， 并 且 将 其 存储 在 配置 库 中 以 便于 所 有 人 员 了 解 每 个 配置 项 的 内 容 和 状态 ， 为 不 同人 员 设 定 
配置 项 使 用 权限 。 所 有 基线 配置 项 只 向 开发 和 测试 人 员 开 放 读 取 权限 ， 不 能 随意 改变 ， 而 非 基 
线 配 置 项 向 项 目 管理 人 员 和 相关 人 员 开 放 。 

软件 配置 管理 中 涉及 两 个 重要 的 概念 ， 分 别 是 “配置 项 ”和 “基线 ”， 含 义 如 下 : 


配置 项 就 是 配置 管理 的 对 象 。 软 件 开发 过 程 所 产生 的 所 有 程序 、 数 据 、 文 档 等 都 是 软 
件 的 组 成 部 分 ， 都 需要 作为 配置 项 进行 管理 。 此 外 ， 配 置 项 还 包括 操作 系统 、 开 发 工 
有 具 、 数 据 库 等 软件 环境 和 工具 。 软 件 特定 版 本 的 配置 项 之 间 需 要 相互 匹配 以 保持 软件 
整体 的 一 致 性 。 

基线 是 已 经 正式 通过 审核 批准 的 一 个 配置 项 或 一 组 配置 项 的 集合 ， 因 此 可 以 作为 进 一 
步 开发 的 基础 ， 并 且 只 能 通过 正式 的 变化 控制 过 程 来 改变 。 基 线 通常 与 项 目 开 发 过 程 
中 的 里 程 碑 相对 应 ， 经 过 评审 批准 的 阶段 性 成 果 的 统一 标识 就 标志 着 项 目的 不 同 基线 。 
常见 的 基线 有 需求 规格 说 明 、 设 计 说 明 、 特 定 版 本 的 源 程序 、 测 试 计 划 等 。 根 据 使 用 
对 象 的 不 同 ， 基 线 又 可 以 分 为 对 内 使 用 的 软件 构建 基线 和 面向 用 户 使 用 的 软件 发 布 
基线 。 


2) 变更 控制 
软件 开发 过 程 中 ， 需 求 、 设 计 、 程 序 代码 、 开 发 资源 及 环境 等 都 会 发 生变 更 ， 变 更 控制 就 


211 


NT 有、 


是 对 这 些 变更 进行 跟踪 和 规划 ， 便 于 变更 的 管理 和 追溯 ， 避 免 开 发 过 程 的 混乱 。 变 更 控制 使 得 
对 配置 项 的 任何 修改 都 处 于 软件 配置 管理 系统 的 控制 之 下 ， 并 且 保障 配置 项 在 任何 情况 下 都 能 
恢复 到 任 一 历史 状态 。 图 7-10 说 明了 典型 情况 下 的 变更 控制 流程 。 


阶段 里 程 碑 


Y 


建立 基线 更 新 基线 批准 变更 


申请 变更 授权 变更 


图 7-10 典型 情况 下 的 变更 控制 流程 


3) 版 本 管理 

版 本 管理 包括 对 文档 、 程 序 等 配置 项 的 各 种 版 本 进行 的 存储 、 登 记 、 索 引 、 权 限 分 配 等 一 
系列 管理 活动 , 目的 是 按照 一 定 的 命名 规则 保存 配置 项 的 所 有 版 本 , 避免 发 生 版 本 丢失 或 混乱 ， 
并 且 确 保 能 快速 和 准确 地 查找 到 特定 版 本 下 的 配置 项 。 版 本 管理 通过 加 锁 等 方法 控制 对 软件 资 
源 的 存 取 ， 保 证 多 人 同时 开发 软件 时 资源 内 容 的 一 致 性 。 

对 于 软件 测试 而 言 ， 需 要 在 报告 缺陷 的 时 候 提 供 发 现 缺陷 的 具体 版 本 ， 在 缺陷 分 析 时 ， 利 
用 版 本 号 来 区 别 缺陷 和 判断 缺陷 的 发 展 趋势 。 软 件 版 本 说 明 是 开发 人 员 和 测试 人 员 之 间 交 流 的 
有 效 形式 ， 测 试 人 员 可 以 通过 版 本 说 明确 定 当前 的 测试 版 本 相对 于 上 一 版 本 有 哪些 显著 变化 ， 
从 而 有 针对 性 地 进行 测试 。 

测试 人 员 是 软件 产品 整体 质量 的 把 关 人 员 ， 软 件 版 本 的 更 新 和 发 布 经 常 被 纳入 测试 人 员 的 
控制 之 下 。 同 时 ， 测 试 人 员 控 制 软 件 版 本 也 可 以 提高 测试 效率 ， 避 免 不 必 要 的 版 本 更 新 以 及 由 
此 造成 的 频繁 回归 测试 。 

4) 配置 状态 报告 

根据 配置 库 中 的 记录 , 通过 CASE 工具 可 以 生成 不 同 的 配置 状态 报告 , 例如 配置 项 的 状态 、 
基线 之 间 的 差别 描述 、 变 更 日 志 、 变 更 结果 记录 等 。 配 置 状态 报告 着 重 反 映 了 当前 基线 配置 项 
的 状态 ， 同 时 也 反映 了 变更 对 软件 项 目 进展 的 影响 ， 可 以 作为 项 目 进度 管理 的 参考 依据 。 

5) 配置 审计 

配置 审计 是 变更 控制 的 补充 手段 ， 用 来 保证 变更 已 被 正确 实现 ， 包 括 以 下 内 容 

e 评估 基线 的 完整 性 ， 确 认 所 有 配置 项 已 入 库 保 存 。 

e 检查 配置 记录 是 否 正 确 反映 了 配置 项 的 配置 情况 。 

e 审核 配置 项 的 结构 完整 性 。 

e 对 配置 项 进行 技术 评审 ， 防 止 不 完善 的 软件 实现 。 
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e ”验证 配置 项 的 正确 性 、 完 备 性 和 一 致 性 。 
e 验证 软件 是 否 符 合 配 置 管理 标准 和 规范 。 
e 确认 记录 和 文档 保持 可 追溯 性 。 


7.5.3 ”软件 配置 管理 的 流程 


软件 配置 管理 的 流程 如 图 7-11 所 示 。 
1) 制定 配置 管理 计划 
软件 项 目 开始 时 首先 需要 制定 整个 项 目的 开发 计划 ， 用 来 规划 整体 软件 研发 的 具体 工作 。 
项 目 开发 计划 完成 之 后 ， 紧 接着 就 需要 制定 配置 管理 计划 。 
如 果 没 有 在 项 目 开发 之 初 就 制定 配置 管理 计划 ， 那 么 就 无 法 及 时 和 有 序 地 完成 软件 配置 的 
许多 关键 活动 ， 必 然 导 致 软件 开发 过 程 的 混乱 。 因 此 ， 及 时 制定 配置 管理 计划 是 整个 软件 项 目 
成 功 的 重要 保证 。 配 置 管理 计划 的 主要 内 容 是 制定 配置 管理 策略 、 确 定 变更 控制 策略 并 对 计划 
内 容 进行 评审 。 
制定 配置 管理 计划 的 主要 工作 流程 如 下 : 
e 配置 控制 委员 会 (Configuration Control Board，CCB) 根 据 项 目 开发 计划 确定 软件 各 阶段 
里 程 碑 和 开发 策略 。 

。 配置 管理 员 (Configuration Management officer，CMO) 根 据 CCB 的 规划 ， 制 定 详细 的 配 
置 管理 计划 ， 递 交 CCB 审核 。 

e 配置 管理 计划 经 CCB 审核 通过 后 ， 交 项 目 经 理 批准 和 发 布 实施 。 


人 开始 ) 


v 


制定 配置 管理 计划 


于 
创建 配置 管理 环境 


委 
配置 管理 计划 的 实施 


图 7-11 软件 配置 管理 的 流程 


2) 创建 配置 管理 系统 

创建 配置 管理 系统 的 主要 工作 包括 确定 软件 和 硬件 环境 、 安 装配 置 管理 工具 、 建 立 配 置 管 
理 库 、 存 储 在 配置 管理 计划 中 已 经 定义 好 的 配置 项 、 设 定 配置 项 的 使 用 权限 。 

3) 配置 管理 计划 的 实施 

配置 管理 计划 的 实施 由 软件 项 目 相关 人 员 完 成 ， 主 要 包括 标识 配置 项 、 建 立 基线 、 生 成 配 


213 


NT、 


置 状态 报告 、 配 置 审计 和 变更 控制 管理 。 

执行 阶段 的 配置 管理 活动 主要 分 为 以 下 三 个 方面 : 

e 由 配置 管理 员 完 成 配置 库 的 日 常 管理 和 维护 工作 。 

e ”由 开发 和 测试 人 员 具 体 执行 配置 管理 策略 。 

e 软件 项 目 人 员 按 照 规定 完成 变更 控制 。 

上 述 三 个 方面 的 工作 既 相 互 独立 又 互相 联系 ， 执 行 流程 如 下 : 

。 配置 控制 委员 会 负责 设 定 研发 活动 的 初始 基线 。 

。 配置 管理 员 根 据 配置 计划 设立 配置 库 和 工作 空间 ， 为 执行 软件 配置 管理 做 好 准备 。 

e 开发 和 测试 人 员 按 照 统一 的 配置 管理 策略 ， 对 授权 的 软件 资源 进行 开发 和 测试 。 

。 配置 控制 委员 会 在 软件 开发 过 程 中 审核 各 种 变更 请 求 ， 并 适时 地 设立 新 的 基线 ， 保 证 
开发 、 测 试 和 维护 工作 的 有 序 进行 。 


7.5.4 ”软件 配置 管理 的 误区 


误区 一 : 软件 配置 管理 就 是 解决 软件 版 本 控制 的 问题 

版 本 控制 只 是 软件 配置 管理 中 最 基本 的 内 容 ， 软 件 配置 管理 能 够 更 为 全 面 和 系统 地 控制 变 
更 和 保证 软件 一 致 性 。 当 然 只 有 做 好 了 版 本 控制 ， 其 他 的 配置 管理 能 力 才 会 逐渐 提升 。 产 生 这 
一 认识 误区 的 根本 原因 在 于 一 些 软件 企业 对 软件 开发 流程 的 管理 不 重视 ， 另 一 个 原因 是 由 于 开 
发 资源 不 足 ， 例 如 缺乏 必要 的 软件 配置 管理 软 硬 件 环 境 ， 缺 乏 专业 的 配置 管理 员 ， 因 此 难以 实 
施 系统 化 的 软件 配置 管理 。 

误区 二 : 由 开发 水 平 最 差 的 人 员 担任 配置 管理 员 

软件 配置 管理 的 计划 、 流 程 和 制度 只 是 软件 配置 管理 实施 的 基础 ， 而 配置 管理 员 是 软件 配 
置 管理 的 具体 实施 者 ， 决 定 了 软件 配置 管理 能 否 有 效 实施 。 配 置 管理 员 的 职责 非常 重大 ， 软 件 
项 目的 所 有 代码 和 文档 都 由 其 负责 。 国 外 软件 企业 一 般 都 由 具备 丰富 开发 经 验 的 人 员 担任 配置 
管理 员 ， 部 分 软件 配置 管理 工作 甚至 直接 由 开发 经 理 担任 。 

误区 三 : 采用 先进 的 软件 配置 管理 工具 就 能 完成 有 效 的 软件 配置 管理 

软件 配置 管理 工具 的 作用 十 分 重要 ， 如 果 没有 工具 的 支持 将 难以 实施 正规 和 有 效 的 软件 配 
置 管理 。 但 是 不 能 盲目 迷信 和 依赖 工具 ， 认 为 只 要 部 署 了 专业 的 软件 配置 管理 工具 就 自然 建立 
了 软件 配置 管理 体系 。 工 具 不 能 代替 管理 ， 工 具 的 成 功 使 用 依赖 于 规范 的 软件 配置 管理 流程 以 
及 合格 的 配置 管理 员 。 


区 3 测 试 结束 的 原则 


软件 测试 受到 软件 项 目 交付 时 间 以 及 测试 成 本 的 约束 ， 最 终 需 要 停止 ， 那 么 何 时 可 以 结束 
测试 就 是 测试 管理 需要 面 对 的 问题 。 结 束 测试 的 时 间 点 需要 根据 具体 软件 项 目 和 测试 任务 的 特 
点 来 判断 ， 可 以 参考 以 下 一 些 原则 。 

1) 基于 “测试 阶段 ”的 原则 

测试 一 般 都 要 经 过 单元 测试 、 集 成 测试 和 系统 测试 这 几 个 阶段 ， 可 以 分 别针 对 各 个 测试 阶 
段 制定 详细 的 测试 结束 标准 。 每 个 测试 阶段 符合 结束 标准 后 ， 再 进行 下 一 个 阶段 的 测试 。 例 如 
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对 于 单元 测试 ， 可 以 设 定 以 下 一 些 结束 标准 。 

e 核心 代码 、 测 试用 例 都 100% 经 过 评审 。 

e 按 单 元 测试 计划 完成 所 有 规定 的 测试 任务 。 

e 功能 覆盖 率 达 到 100%， 代 码 覆 盖 率 不 低 于 85%。 

e 发 现 的 软件 缺陷 都 已 修复 ， 各 级 缺陷 修复 率 达到 标准 。 

集成 测试 和 系统 测试 也 一 样 需要 制定 相应 的 测试 结束 标准 。 

2) 基于 “验收 测试 ”的 原则 

对 于 项 目 类 软件 ， 当 内 部 测试 达到 或 接近 测试 指定 的 标准 后 ， 就 将 软件 递交 给 用 户 做 最 后 
的 验收 测试 。 如 果 验 收 测试 通过 ， 就 可 以 停止 测试 ， 如 果 发 现 一 些 缺 陷 ， 在 有 针对 性 地 修复 并 
经 过 用 户 认可 后 就 可 以 结束 测试 。 

3) 基于 “测试 用 例 ” 的 原则 

测试 用 例 设计 完成 并 且 评审 通过 后 ， 其 执行 情况 可 以 作为 测试 结束 的 参考 标准 。 如 果 测 试 
过 程 中 发 现 测试 用 例 通过 率 太 低 ， 可 以 暂停 测试 ， 待 开发 人 员 全 面 改进 软件 后 再 继续 测试 。 当 
功能 测试 用 例 通过 率 达 到 100%、 非 功能 测试 用 例 通过 率 达 到 95% 以 上 时 ， 可 以 结束 测试 。 但 
是 使 用 该 原则 作为 测试 结束 标准 时 ， 需 要 严格 控制 好 测试 用 例 的 质量 。 

4) 基于 “缺陷 收敛 趋势 ”的 原则 

通过 缺陷 分 析 得 到 缺陷 数量 变化 的 趋势 图 ， 当 趋势 曲线 逐渐 收敛 并 且 趋 近 于 零 时 代表 很 难 
再 发 现 缺陷 ， 以 此 作为 判定 测试 结束 的 标准 。 

5) 基于 “缺陷 修复 率 ” 的 原则 

软件 缺陷 的 严重 性 等 级 可 以 分 为 致命 、 严 重 、 重 要 和 较 小 。 在 决定 测试 结束 时 间 时 ， 可 以 
设 定 致命 和 严重 级 别 缺 陷 的 修复 率 必须 达到 100%; 重要 缺陷 的 修复 率 必须 达到 95% 以 上 ， 但 
不 允许 存在 功能 性 的 错误 ， 较 小 问题 的 缺陷 可 以 暂时 不 做 修复 。 

6) 基于 “覆盖 率 ” 的 原则 

当 需 求 覆盖 率 达到 100%， 代 码 覆 盖 率 达到 测试 计划 要 求 的 比例 后 ， 基 本 上 就 可 以 结束 测 
试 。 可 以 通过 “抽样 测试 ”和 “随机 测试 ”进行 补充 性 检查 。 

7) 基于 “缺陷 度量 ”的 原则 

通过 缺陷 分 析 技 术 和 缺陷 分 析 工 具 对 缺陷 进行 度量 ， 将 缺陷 主要 属性 的 分 布 情况 、 缺 陷 密 
度 、 缺 陷 清除 率 等 作为 判断 测试 结束 的 依据 。 

8) 基于 “项 目 计 划 ” 的 原则 

项 目 计 划 规定 了 主要 测试 活动 及 其 进度 安排 ， 如 果 完 成 所 有 规定 的 测试 内 容 和 回归 测试 ， 
就 可 以 作为 结束 测试 的 参考 标准 。 但 是 ， 此 项 原则 不 能 机 械 使 用 ， 因 为 开发 环节 的 延迟 会 压缩 
测试 时 间 ， 需 要 结合 整体 软件 质量 标准 来 判断 是 否 可 以 结束 测试 。 

9) 基于 “质量 成 本 ”的 原则 

软件 项 目 都 需要 对 质量 、 成 本 和 进度 这 三 个 因素 进行 平衡 ，“ 太 少 的 测试 是 犯罪 ， 而 太 多 
的 测试 是 浪费 ”。 当 发 现 缺 陷 的 测试 费用 超过 缺陷 给 系统 造成 的 损失 费用 时 ， 可 以 终止 测试 。 

10) 基于 “测试 和 行业 经 验 ” 的 原则 

测试 人 员 的 测试 能 力 和 对 目标 用 户 业 务 的 熟悉 程度 会 影响 到 测试 效率 和 测试 质量 ， 因 此 测 
试 人 员 的 经 验 也 应 当 作为 判断 何 时 结束 测试 的 依据 。 
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什么 是 软件 质量 ? 

简 述 软件 质量 标准 的 5 个 层次 。 

简 述 你 所 了 解 的 主要 软件 质量 管理 体系 ， 分 别 说 明 它们 的 特点 。 
什么 是 CCM? 什么 是 CMMI? 两 者 有 什么 不 同 ? 

简 述 软件 评审 的 重要 性 。 

软件 评审 都 有 哪些 方法 ? 

什么 是 测试 策略 ? 它 与 测试 计划 有 什么 不 同 ? 

一 个 测试 项 目 中 都 包含 哪些 测试 文档 ? 它们 之 间 的 关系 是 什么 ? 
9. 作 


上 么 是 软件 配置 管理 ? 


10. 什么 是 软件 配置 项 ? 

11. 什么 是 基线 ? 为 什么 要 建立 基线 ? 

12. 软件 配置 管理 都 包含 哪些 主要 活动 ? 

13. 简 述 对 于 软件 配置 管理 经 常 存在 的 认识 误区 。 
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第 8 章 


软件 测试 自动 化 


软件 测试 一 般 分 为 手工 测试 和 自动 化 测试 。 自 动 化 测试 是 通过 软件 工具 、 程 序 来 代替 或 畏 
助手 工 测试 的 过 程 ， 目 的 是 减少 手工 测试 的 工作 量 ， 提 高 测试 的 效率 与 质量 。 通 过 合理 地 实施 
自动 化 测试 , 能 够 有 效 地 应 对 大 量 重复 性 的 测试 工作 , 自动 生成 各 种 测试 结果 的 统计 分 析 报 告 ， 
完成 很 多 手工 测试 难以 完成 或 无 法 完成 的 测试 任务 。 


自动 化 测试 的 作用 与 优势 


8.1.1 自动 化 测试 的 作用 


随 着 软件 规模 和 复杂 度 的 提高 ， 为 了 确保 软件 质量 ， 软 件 测试 的 工作 量 在 软件 总 体 开发 工 
作 量 中 的 比例 越 来 越 高 , 这 一 比例 有 时 会 达到 40%~50% 甚 至 更 高 。 自 动 化 测试 是 在 手工 测试 的 
基础 上 发 展 而 来 的 ， 可 以 有 效 弥 补 手 工 测试 在 以 下 一 些 方面 的 不 足 。 
。 手工 测试 执行 时 间 长 ， 测 试 效率 低 。 
。 由 于 手工 测试 的 工作 量 很 大 ， 在 测试 人 员 不 足 或 测试 周期 很 短 的 情况 下 ， 难 以 达到 测 
试 的 充分 性 要 求 ， 例 如 难以 覆盖 所 有 的 代码 路 径 ， 同 时 也 难以 及 时 评估 测试 的 覆盖 率 。 
e 修改 软件 之 后 ， 经 常 难以 及 时 完成 有 效 的 回归 测试 。 同 时 ， 回 归 测试 是 典型 的 重复 性 
测试 工作 ， 会 使 测试 人 员 感 到 单调 枯燥 。 
e ， 当 测试 过 程 包含 大 量 测试 用 例 和 测试 数据 时 ， 测 试 执行 和 管理 的 细节 会 很 烦琐 ， 容 易 
出 错 。 
e， 难以 便捷 和 全 面 地 对 测试 进程 及 其 结果 进行 统计 分 析 并 生成 规范 性 的 测试 报告 。 
e 性 能 测试 时 无 法 模拟 大 规模 软件 系统 负载 。 
e 难以 完成 系统 可 靠 性 测试 ， 无 法 模拟 验证 系统 连续 运行 几 个 月 甚至 几 年 后 是 否 仍然 能 
够 稳定 运行 。 
完全 的 手工 测试 已 经 不 能 适应 软件 测试 行业 的 发 展 要 求 ， 对 于 很 多 操作 重复 、 创 造 性 要 求 
不 高 、 需 要 定量 化 统计 分 析 的 测试 工作 都 转 而 采用 自动 化 测试 的 方式 进行 ， 以 提高 整体 测试 的 
质量 、 减 少 测试 成 本 、 缩 短 测试 周期 ， 也 使 得 测试 人 员 能 够 不 再 去 处 理 很 多 繁杂 的 测试 工作 ， 
充分 利用 其 经 验 和 时 间 去 解决 测试 设计 等 更 为 深层 次 的 测试 问题 。 


TT、 


测试 工具 的 广泛 使 用 大 大 提高 了 软件 测试 的 自动 化 程度 。 通 过 测试 工具 可 以 模拟 手工 测试 
的 步 又， 控制 被 测 软件 的 运行 ， 自 动 完成 测试 用 例 执行 结果 的 判断 ， 实 现 半自动 或 全 自动 的 测 
试 过 程 。 半 自动 测试 需要 测试 人 员 与 测试 工具 的 交互 ， 选 择 测试 对 象 和 测试 数据 ， 控 制 测试 工 
具 的 执行 ， 而 全 自动 测试 可 以 做 到 无 须 人 工 干 预 ， 由 测试 工具 自动 完成 测试 的 全 过 程 。 例 如 ， 
可 以 实现 无 人 状态 下 的 所 谓 “ 夜 间 测 试 ”， 开 发 人 员 在 每 天 工作 结束 后 向 源 程序 版 本 控制 服务 
器 提交 代码 开发 成 果 ， 集 成 测试 工具 在 夜间 自动 执行 软件 版 本 构建 任务 ， 并 且 将 测试 结果 以 邮 
件 方式 通知 给 相关 人 员 。 

需要 注意 的 是 ， 自 动 化 测试 不 可 能 完全 蔡 代 手工 测试 ， 诸 如 文档 测试 、 测 试用 例 设计 、 测 
试 执行 过 程控 制 、 全 面 和 深入 的 测试 结果 分 析 还 必须 依靠 手工 测试 完成 。 自 动 化 测试 和 手工 测 
试 在 实际 工作 中 应 当 取 长 补 短 、 综 合 使 用 。 引 入 自动 化 测试 的 前 期 投入 很 大 ， 需 要 评估 投入 成 
本 是 否 能 产生 令 人 满意 的 回报 。 此 外 ， 自 动 化 测试 并 不 只 是 单纯 使 用 测试 工具 ， 还 包括 应 用 自 
动 化 测试 的 思想 和 方法 ， 建 立 适应 自动 化 测试 的 策略 与 工作 流程 。 测 试 工具 的 使 用 必须 服务 于 
节约 成 本 、 提 高 效率 和 提升 产品 质量 的 总 体 目标 。 


8.1.2 ”自动 化 测试 的 优势 


自动 化 测试 具有 快速 、 准确、 可 靠 等 明显 特点 , 应 用 自动 化 测试 可 以 提高 测试 效率 和 质量 、 
节省 人 力 资源 。 从 应 用 角度 看 ， 目 前 自动 化 测试 的 优势 主要 体现 在 自动 化 的 性 能 测试 和 回归 
测试 。 

1) 自动 化 的 性 能 测试 

全 面 的 性 能 测试 是 手工 测试 无 法 完成 的 ， 一 般 必须 借助 性 能 测试 工具 。 性 能 测试 需要 模拟 
大 量 的 负载 , 最 常见 的 是 模拟 成 百 上 千 的 并 发 用 户 来 测试 系统 的 性 能 瓶颈 、 验证 各 种 性 能 指标 ， 
离开 测试 工具 是 根本 无 法 完成 的 。 因 此 ， 类 似 性 能 测试 这 种 需要 模拟 大 量 用 户 和 并 发 任务 的 测 
试 活动 非常 适合 采用 自动 化 测试 。 

2) 自动 化 的 回归 测试 

回归 测试 是 重复 已 执行 过 的 测试 ， 避 免 修 改 程序 对 原 有 正常 功能 产生 影响 。 回 归 测 试用 例 
是 已 经 完全 设计 好 的 ， 即 使 有 些 改 动 ， 一 般 也 不 会 太 多 ， 而 且 测 试 的 预期 结果 也 是 完全 可 以 确 
定 的 。 


300 口 手工 测试 

人 国 自动 化 测试 
全 250 

雯 200 

< also 

喇 

过 

器 


100 
i [| 

0 = » 
初次 测试 ”第 一 次 回归 ”第 二 次 回归 ”总 工作 量 


图 8-1 回归 测试 中 自动 化 测试 与 手工 测试 工作 量 对 比 
如 图 8-1 所 示 ， 自 动 化 测试 在 初次 测试 时 因为 要 开发 自动 化 测试 用 例 ， 工 作 量 会 大 于 手工 


218 


第 8 章 软件 测试 自动 化 


测试 。 但 是 随 着 回归 测试 的 增多 ， 初 期 产生 的 工作 量 被 均 摊 ， 总 工作 量 明显 小 于 手工 测试 ， 并 

且 回 归 测 试 的 次 数 越 多 , 效果 越 明显 。 因此, 对 于 回归 测试 应 当 尽 可 能 采用 自动 化 测试 的 方法 ， 

充分 发 挥 测试 工具 善于 完成 机 械 重 复 性 工作 的 优势 ， 大 幅 提 高 测试 效率 ， 缩 短 测试 时 间 。 
除了 上 述 两 个 主要 优势 之 外 ， 自 动 化 测试 还 具有 以 下 一 些 优势 


通过 应 用 测试 管理 工具 可 以 规范 整个 测试 流程 ， 改 进 研发 过 程 ， 方 便 地 进行 软件 缺陷 
跟踪 和 管理 。 

在 单元 测试 中 通过 白 盒 测 试 工具 可 以 完成 全 自动 的 代码 扫描 ， 对 代码 规范 性 、 程 序 结 
构 、 函 数 调用 关系 等 进行 静态 测试 ， 测 试 的 全 面 性 明显 优 于 手工 测试 。 自 动 化 的 动态 
单元 测试 工具 (如 JUnib 可 以 简化 测试 的 编写 ， 将 测试 代码 和 程序 代码 分 开 ， 极 大 地 方 
便 进 行 增 量 开发 、 版 本 构建 和 测试 用 例 管理 。 

自动 化 的 集成 测试 可 以 更 好 地 支持 敏捷 开发 ， 可 以 实现 每 日 集成 构建 、 完 全 自动 化 的 
冒 烟 测试 ， 及 时 发 现 和 定位 集成 问题 ， 更 好 地 保证 程序 代码 、 测 试用 例 和 相关 文档 记 
录 的 版 本 一 致 性 。 

提高 功能 测试 基本 操作 和 数据 验证 的 质量 和 效率 。 功 能 测试 主要 测试 基本 操作 下 软件 
的 逻辑 功能 是 否 正确 ， 具 有 明确 的 测试 输入 和 输出 ， 使 于 输入 数据 后 对 输出 进行 验证 ， 
因此 适合 自动 化 测试 。 功 能 测试 的 工作 量 很 大 ， 因 此 能 从 自动 化 中 取得 较 大 的 效果 。 
当 软 件 界面 变动 不 大 时 ， 功 能 测试 用 例 的 复 用 率 会 很 高 。 但 是 对 于 界面 测试 这 类 主观 
性 比较 强 的 测试 工作 ， 应 当 用 手工 测试 来 完成 。 

便于 捕捉 偶然 发 生 的 软件 缺陷 。 测 试 人 员 最 头疼 的 一 个 问题 是 捕捉 偶然 发 生 的 软件 缺 
陷 ， 这 些 软件 缺陷 的 产生 经 常 与 程序 的 多 进程 或 多 线程 并 行 运行 、 消 息 驱动 的 复杂 程 
序 运 行 时 序 以 及 死 锁 和 资源 冲突 等 问题 有 关 。 因 为 测试 工具 可 以 重复 和 持久 地 运行 测 
试用 例 ， 所 以 便于 捕捉 此 类 软件 缺陷 。 

能 更 好 地 利用 人 力 资 源 。 将 烦琐 、 单 调和 重复 的 工作 交 由 自动 化 测试 来 做 ， 测 试 人 员 
可 以 专注 于 测试 计划 、 设 计 以 及 必须 由 手工 测试 完成 的 测试 内 容 。 


传统 的 手工 测试 需要 设计 测试 用 例 、 执 行 被 测 软件 、 输 入 测试 数据 、 记 录 输 出 结果 并 且 与 
预期 结果 进行 对 比 ， 以 此 发 现 可 能 存在 的 软件 缺陷 。 因 此 ， 为 了 替代 手工 测试 ， 自 动 化 测试 必 
须 能 够 模拟 测试 人 员 或 用 户 对 软件 的 操作 ， 自 动 输入 测试 数据 ， 并 且 验 证 软件 的 执行 结果 与 预 
期 结果 是 否 存在 差异 。 那 么 ， 测 试 工具 是 如 何 做 到 这 些 的 呢 ? 自动 化 测试 用 例 与 手工 设计 的 测 
试用 例 有 什么 不 同 ? 这 就 需要 理解 自动 化 测试 的 原理 ， 进 而 更 好 地 了 解 和 掌握 各 种 自动 化 测试 
技术 ， 合 理 选 择 测试 工具 。 


8.2.1 


测试 用 例 的 录制 与 回放 


自动 化 测试 在 回归 测试 和 功能 测试 中 的 应 用 比较 广泛 ， 为 了 实现 测试 用 例 的 重用 和 自动 执 
行 ， 首 先 需要 录制 对 软件 的 操作 过 程 ， 生 成 初步 的 测试 脚本 作为 可 自动 执行 的 测试 用 例 。 很 多 
软件 或 专门 的 软件 工具 都 提供 了 录制 特定 软件 操作 的 功能 , 最 常见 的 是 Microsoft Word 中 的 宏 。 
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在 Word 中 单 击 “ 视 图 ”一 “ 宏 ” 一 “录制 宏 ”， 即 可 出 现 如 图 8-2 所 示 的 “录制 宏 ” 对 
话 框 。 单 击 “ 确 定 ” 开 始 录制 后 ， 对 Word 文档 的 所 有 键盘 输入 或 按钮 操作 都 会 被 记录 到 宏 中 ， 
直到 单 击 “ 宏 ”一 “停止 录制 ”为 止 。 


所 有 文档 Oiornal. deta) 
说 明 鱼 ): 


图 8-2 Microsoft Word 中 录制 宏 的 窗口 


对 于 Word 中 需要 反复 执行 的 某 些 任务 ， 可 以 录制 为 宏 ， 通 过 运行 录制 后 的 宏 来 自动 执行 
这 些 任务 。 例 如 ， 插 入 具有 指定 尺寸 、 边 框 、 行 数 和 列 数 的 表格 ， 或 是 将 手工 去 除 空格 、 文 字 
查找 与 蔡 换 、 格式 修改 等 个 性 化 排版 操作 录制 为 宏 , 方便 之 后 进行 一 次 性 操作 。 录制 好 的 Word 
宏 实 际 上 是 VBA(Visual Basic for Applications) 脚 本 ， 单 击 “ 宏 ”一 “查看 宏 ” 一 “编辑 ”之 后 ， 
就 能 够 查看 和 编辑 宏 代码 。 例 如 ， 将 “在 Word 中 插入 一 个 2X2 的 表格 、 选 择 表格 样式 、 在 每 
个 单元 格 中 输入 数据 ”录制 为 宏 ， 脚 本 代码 如 下 所 示 。 
Sub 宏 10 
注释 
ActiveDocument Tables.Add Range:=Selection Range, NumRows:=2, NumColumns:= _ 
2, DefaultTableBehavior:=wdWord9TableBehavior, AutoFitBehavior= _ 
wdAutoFitFixed 
With Selection.Tables(1) 
If.Style 一 "网 格 型 " Then 
.Style =" 网 格 型 " 
EndIf 
.ApplyStyleHeadingRows= True 
.ApplyStyleLastRow = False 
.ApplyStyleFirstColumn = True 
.ApplyStyleLastColumn = False 
.ApplyStyleRowBands = True 
.ApplyStyleColumnBands = False 
End With 
Selection.Tables(1).Style = " 浅 色 底 纹 - 强调 文字 颜色 5" 
Selection. TypeText Text=" 数 据 1" 
Selection MoveRight Unit:=wdCell 
Selection TypeText Text=" 数 据 2" 
Selection.MoveRight Unit:=wdCell 
SelectionTypeText Text=" 数 据 3" 
Selection MoveRight Unit=wdCell 
Selection. TypeText Text:=" 数 据 4" 
End Sub 


220 


第 8 章 软件 测试 自动 化 


从 上 面 的 例子 可 知 , 通过 工具 可 以 将 软件 操作 和 数据 输入 录制 为 相应 的 脚本 (当然 也 可 以 不 
通过 录制 直接 进行 脚本 编码 ), 脚本 本 身 就 是 可 执行 的 程序 ， 因此 可 以 通过 运行 脚本 重复 之 前 的 
所 有 操作 。 

那么 将 测试 步骤 录制 为 脚本 是 否 就 完成 了 测试 用 例 呢 ? 答案 是 否定 的 。 因 为 测试 用 例 还 包 
括 对 测试 结果 和 预期 结果 的 对 比 和 验证 。 自 动 化 测试 用 例 必须 有 验证 点 和 预期 结果 ， 这 样 才能 
根据 软件 运行 结果 进行 自动 对 比 ， 决 定 测试 用 例 是 否 通过 。 因 此 需要 通过 专门 的 软件 测试 工具 
来 完成 脚本 录制 和 验证 点 添加 工作 ， 生 成 基本 的 测试 用 例 ， 然 后 对 脚本 进行 修改 ， 最 终生 成 满 
足 要 求 的 测试 用 例 。 

下 面 通过 开源 测试 工具 Katalon Recorder 来 说 明 Web 功能 测试 用 例 的 录制 过 程 。 可 以 在 
www.katalon.com 网 站 上 注册 以 下 载 自己 需要 的 版 本 ， 也 可 以 从 谷歌 应 用 商店 或 者 通过 火狐 浏 
览 器 插件 下 载 和 安装 Katalon Recorder IDE。 例 如 ， 首 先 安装 火狐 浏览 器 Firefox， 打 开 右 上 方 的 
浏览 器 菜单 ， 单 击 “ 附 加 组 件 ”， 在 搜索 框 内 输入 “Katalon Recorder”， 找 到 Katalon Recorder 
插件 。 单 击 该 插件 后 ， 在 出 现 的 页 面 中 单 击 “ 添 加 到 Firefox” 即 可 完成 Katalon Recorder IDE 
的 安装 工作 。 安 装 完成 后 ， 在 火狐 浏览 器 的 右上 角 出 现 Katalon Recorder 的 快捷 图 标 ， 单 击 后 
即 可 启动 如 图 8-3 所 示 的 Katalon Recorder IDE 界面 。 


mos-extens.or//ee576346 4317 4537 -ebb 2e10325745fo -Katalen Recerde 1511 Mecle -Et 
Te ee rer 
ee Es 
测试 用 例 一 上 测试 脚本 
er 测试 命令 
cs 下 
og Sereenshots Var eies 。 Data Dryen Exension Sipts Refeerce 的 Aneytc 
运行 日 志 一 


图 8-3 ”Katalon Recorder IDE 界面 


让 我 们 用 Katalon Recorder IDE 录制 一 个 简单 的 自动 化 测试 脚本 。 首 先 新 建 一 个 测试 用 例 
“Test Case Demo”, 然后 单 击 “Record ”按钮 开始 录制 。 在 Firefox 浏览 器 中 输入 网 址 “bjtime.cn”， 
在 打开 的 页 面 中 选择 出 现 的 文字 “XXXX 年 XX 月 XX 日 星期 X…… ”， 单 击 鼠 标 右键 后 ， 
从 弹出 的 菜单 中 选择 “Katalon Recorder” 一 “verifyText”。 这 样 就 增加 了 一 个 验证 点 ， 用 来 验 
证 测试 页 面 中 是 否 出 现 了 预期 的 文字 。 采 用 相同 的 方法 ， 选 择 北京 时 间 “XX:XX:XX”， 增 加 
另外 一 个 验证 点 。 最 后 单 击 “Stop” 按 钮 停止 录制 。 

完成 脚本 录制 后 可 以 看 到 ， 测 试 脚本 由 一 个 “open” 和 两 个 “verifyText” 命 令 组 成 ， 前 者 
记录 输入 和 打开 网 址 的 操作 ， 后 者 是 两 个 测试 验证 点 。 单 击 “Play” 按 钮 运行 测试 脚本 ， 测 试 
结果 如 图 8-4 所 示 。 第 一 个 验证 点 通过 ， 相 应 的 命令 变 为 绿色 : 第 二 个 验证 点 失败 ， 命 令 窗口 
中 的 命令 变 为 红色 ， 测 试 日 志 窗口 中 也 以 红色 文字 提示 “[error] did not match”。 原 因 很 简单 ， 
第 二 个 验证 点 的 秒 时 间 数 字 在 不 断 变化 ， 与 最 初 记录 的 预期 结果 不 同 ， 因 此 验证 失败 ， 由 此 也 
说 明 测 试 工具 可 以 自动 发 现 非常 微小 的 结果 偏差 。 
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8-4 ”测试 运行 结果 


如 图 8-5 所 示 ， 可 以 将 测试 用 例 导出 为 各 种 常用 语言 的 脚本 。 单 击 “{}Export” 按 钮 ， 在 下 
拉 列 表 中 选择 希望 的 脚本 语言 即 可 。 这 样 节省 了 测试 人 员 编 写 复杂 测试 脚本 的 工作 量 ， 只 需要 
在 录制 好 的 脚本 基础 上 进行 修改 即 可 。 


-ae07icdecbf - Katalon Recorder 3511 - Mazila Fir.. 
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图 8-5 测试 脚本 的 输出 


从 以 上 内 容 可 知 ， 自 动 化 测试 的 一 般 过 程 是 ， 首 先 启动 被 测 软 件 和 相应 的 测试 工具 ， 通 过 
测试 工具 录制 软件 操作 过 程 并 且 插 入 验证 点 ， 对 录制 好 的 脚本 进行 必要 的 调试 ， 然 后 保存 脚本 
作为 测试 用 例 。 执 行 测试 时 ， 调 用 自动 化 测试 脚本 ， 通 过 脚本 操纵 被 测 软件 执行 ， 验 证 测试 结 
果 ， 根 据 测 试 工具 的 执行 日 志 生 成 软件 缺陷 报告 。 


8.2.2 ”代码 分 析 
自动 化 测试 不 仅 包括 动态 测试 , 也 包括 静态 测试 。 静 态 测试 主要 基于 代码 分 析 技 术 。 例 如 ， 
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通过 白 盒 测试 工具 对 程序 代码 进行 静态 分 析 ， 根 据 特定 语言 的 代码 规则 对 代码 进行 扫描 ， 生 成 
系统 的 调用 关系 图 ， 对 代码 复杂 度 等 质量 特征 进行 综合 评价 等 。 

例如 ， 通 过 静态 分 析 工 具 FindBugs 可 以 检查 和 分 析 Java 代码 类 或 Jar 文件 ,在 不 实际 运行 

程序 的 情况 下 对 Java 源 程 序 进行 静态 测试 。 将 程序 代码 与 定义 的 代码 规则 或 缺陷 模式 进行 对 
比 ， 可 以 发 现 很 多 种 软件 缺陷 。 例 如 未 关闭 的 数据 库 连 接 、 缺 少 或 多 余 的 Null Check、 元 余 的 
下 后 置 条 件 、 相 同 的 条 件 分 支 、 重 复 的 代码 块 、" 一 "的 错误 使 用 等 。 代 码 分 析 的 关键 是 建立 各 
种 代码 规则 。FindBugs 提供 了 超过 200 种 规则 ， 其 中 常用 的 规则 主要 可 以 分 为 以 下 几 类 。 

e ”Corectness( 正 确 性 )。 代 码 可 能 在 某 些 方面 不 正确 。 例 如 ， 代 码 有 无 限 递 轨 ，NULL 值 
产生 并 被 引用 ， 方 法 没有 检查 参数 是 否 为 空 等 。 

e Bad practice( 不 良 实践 )。 源 程序 明确 违反 规定 的 编码 规范 。 例 如 ， 未 关闭 文件 或 者 没有 
关闭 数据 库 连 接 ， 程 序 异 常 未 被 处 理 或 报告 等 。 

e Performance( 性 能 )。 可 能 导致 软件 性 能 不 佳 的 代码 。 例 如 ， 属 性 从 没有 被 使 用 过 时 应 当 
考虑 从 类 中 去 掉 ， 代 码 创建 了 不 需要 的 对 象 ， 在 循环 中 使 用 字符 串 连接 而 不 是 使 用 
StringBuffer。 

。 Mnultithreaded correctness( 多 线程 的 正确 性 )。 多 线程 编程 时 可 能 导致 错误 的 代码 ,例如 ， 
空 的 同步 块 导致 多 线程 同步 不 正确 , 使 用 notify0 而 不 是 notifyAll0 只 唤醒 一 个 线程 而 不 
是 所 有 等 待 的 线程 。 

e Dodgy( 不 可 靠 ),。 具有 潜在 危险 的 代码 。 例 如， 未 使 用 的 本 地 变量 或 是 未 检查 的 类 型 转换 。 

通过 上 述 规 则 ，FindBugs 能 够 帮助 开发 人 员 发 现 源 程序 中 存在 的 代码 缺陷 或 隐患 ， 并 且 提 

供 修改 意见 供 开发 人 员 参 考 ， 大 大 提高 了 代码 评审 的 效率 与 质量 。FindBugs 可 以 独立 运行 ， 也 
可 以 作为 插件 安装 在 Eclipse 中 ， 安 装 之 后 单 击 Eclipse 的 菜单 “Window” 一 “Preferences”， 
可 以 打开 如 图 8-6 所 示 的 FindBugs 的 规则 配置 页 面 。 然 后 根据 软件 开发 的 要 求 ， 选 择 和 配置 代 
码 分 析 需 要 用 到 的 规则 。 


FindBugs 


ora cc [Deleut 7 
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Malicous code winerabi 


图 8-6 ”Eclipse 中 FindBugs 的 规则 配置 页 面 
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8.2.3 ”对 象 识别 


在 进行 自动 化 的 软件 功能 测试 时 ， 测 试 工具 需要 模拟 人 工 操作 ， 记 录 测 试 人 员 对 软件 图 形 
用 户 界 面 (GUI，Graphical User Interface) 的 操作 过 程 ， 通 过 回放 重复 执行 这 一 过 程 。 最 简单 的 方 
式 是 记录 鼠标 和 键盘 的 操作 序列 ， 回 放 后 驱动 软件 运行 。 例 如 ， 可 以 通过 “按键 精灵 ”来 模拟 
用 户 物理 按键 操作 和 鼠标 在 屏幕 上 任意 位 置 的 单 击 操作 。 这 种 方法 有 着 明显 的 局 限 性 ， 当 屏幕 
的 分 辩 率 改变 时 测试 脚本 不 再 适用 。 因 此 ， 主 流 的 功能 测试 工具 采用 的 都 是 对 象 识 别 的 方法 ， 
自动 识别 软件 GUI 上 所 展现 出 来 的 各 种 控件 ， 例 如 Text Box、Button、Data Grid 等 ， 获 取 对 象 
的 类 别 、 名 称 、 属 性 值 等 信息 ， 在 脚本 中 记录 操作 了 哪些 对 象 以 及 操作 顺序 。 对 于 一 些 较 高 级 
的 控件 ， 通 过 一 些 扩展 插件 ， 也 可 以 完成 对 这 些 控件 的 识别 。 在 自动 化 测试 中 ， 对 象 的 识别 是 
成 功 完成 测试 的 前 提 条 件 。 

接 下 来 ， 我 们 通过 功能 测试 工具 UFT(Unified Functional Testing) 来 了 解 一 下 基于 对 象 识别 
的 软件 测试 原理 。UFT 是 著名 的 QTP(Quick Test Professional) 的 新 版 本 ， 由 惠普 (HP) 公 司 开发 。 
QTP 11 之后，UFT 11.5 将 面向 GUI 功能 测试 的 QTP 和 面向 API 功能 测试 的 HP Service Test 
整合 在 一 起 ， 重 新 命名 为 UFT。UFT 可 以 完成 对 Web 程序 和 基于 Windows 的 客户 端 程序 的 功 
能 测试 ， 通过 Java、Web、ActiveX、NET 等 自 带 或 扩展 插件 为 所 有 主流 的 应 用 软件 提供 适用 
的 自动 化 测试 环境 。 


1. 类 、 对 象 、 属 性 和 方法 


我 们 先 来 看 一 下 什么 是 UFT 中 的 类 、 对 象 、 属 性 和 方法 。 打 开 网 页 http://www.newtours. 

demoaut.com 后 可 以 看 到 如 图 8-7 所 示 的 页 面部 分 ， 图 中 包含 以 下 一 些 典 型 的 GUI 对 象 。 

e 链接 SIGN-ON、REGISTER、SUPPORT 和 CONTACT 是 LINK 类 的 对 象 ,对 象 SIGN-ON 
具有 诸如 “href” 和 “text” 这 样 的 属性 ， 通 过 这 些 属 性 用 户 可 以 进入 特定 的 网 页 。 

e “User Name” 和 “Password” 是 WebEdit 编辑 框 类 的 对 象 。 对 象 “User Name” 具 有 
诸如 “name” 和 “max-length” 这 样 的 属性 ， 通 过 这 些 属性 可 以 在 给 定 Web 页 面 中 
唯一 识别 该 对 象 。 对 象 “User Name” 具 有 方法 集合 ， 通 过 方法 实现 在 编辑 框 中 输入 
文本 。 

基本 上 ， 你 所 看 到 的 应 用 程序 的 所 有 GUI 元 素 都 是 特定 类 的 对 象 ， 对 于 Web 应 用 程序 来 

讲 ， 类 可 以 是 链接 、 按 钮 、 编 辑 框 、 图 像 、 下 拉 列 表 等 。 当 具体 到 某 一 GUI 元 素 时 ， 该 GUI 
元 素 是 对 象 。 例 如 ， 在 图 8-7 中 ，“Sign-In” 是 WebButton 按钮 类 的 一 个 对 象 。 由 于 类 与 具体 
的 应 用 程序 类 型 有 关 ， 根 据 UFT 所 加 载 的 插件 的 不 同 ， 可 以 识别 的 类 与 对 象 也 不 同 。UFT 有 
如 下 一 些 默 认 的 插件 ， 可 以 增加 更 多 的 扩展 插件 以 支持 不 同类 型 的 应 用 程序 。 

® ActiveX 

® Mobile 

® UIAutomation 

® Visual Basic 

® Web 
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好 jee ET AnGBA, 
, 


Se 下 


Nov21, 2018 


Registered users can sign-in 
here to find the lowest fare on 
participating airlines, 


User 
Name 
This island is surrounded by coral reefs, Password 
ofiers guaranteed sunshine and is blessed E> 
with beautiful beaches Luxury resorts have 


图 8-7 Web 页 面 示例 


单 击 UFT 中 的 “Tools” 一 “Object Identification” 可 以 打开 如 图 8-8 所 示 的 对 象 识别 对 话 
框 ， 该 对 话 框 中 显示 了 当前 插件 (例如 Web) 情 况 下 所 有 可 以 识别 的 类 。 
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图 8-8 UFT 中 的 对 象 识别 对 话 杠 


使 用 UFT 中 的 软件 单元 “Object Spy” 能 够 具体 识别 特定 对 象 的 属性 、 属 性 值 和 方法 。 图 
8-9 是 例子 中 “SIGN-ON” 对 象 的 属性 和 操作 ， 这 里 的 操作 (Operations) 也 就 是 对 象 的 方法 
(Methods)。 
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图 8-9 通过 Object Spy 识别 对 象 的 属性 与 方法 


2. 对 象 库 


UFT 最 强大 的 功能 就 是 对 象 库 (Object Repository)， 对 象 库 具有 对 象 识别 机 制 。 让 我 们 通过 
图 8-10 所 示 的 测试 流程 图 来 理解 对 象 库 在 对 象 识别 和 功能 测试 中 的 作用 ,测试 流程 分 为 “测试 
设计 ”和 “测试 执行 ”两 个 阶段 。 在 测试 设计 阶段 ，GUI 对 象 被 记录 和 存储 到 对 象 库 中 。 在 测 
试 执行 阶段 ，UFT 回放 测试 脚本 ， 对 运行 时 对 象 和 测试 对 象 进行 对 比 ， 上 述 两 种 测试 对 象 的 含 
义 如 下 。 

e@ ”运行 时 对 象 是 被 测 软件 的 实际 对 象 ， 在 执行 测试 时 与 测试 对 象 的 属性 进行 对 比 匹配 。 

e 测试 对 象 存储 在 对 象 库 中 ， 包 含 一 系列 的 对 象 属性 。UFT 通过 学 习 GUI 对 象 的 属性 以 

及 属性 值 来 产生 测试 对 象 。 

基于 对 象 库 的 测试 原理 是 : 运行 脚本 时 ，UFT 会 根据 对 象 库 中 测试 对 象 的 特征 属性 描述 来 
查找 运行 时 对 象 ， 然 后 对 比 对 象 属性 。 如 果 一 致 ， 进 行 后 续 操作 ;如果 不 一 致 ， 提 示 对 象 无 法 
识别 。 利 用 UFT 建立 对 象 库 的 方法 有 很 多 种 ， 录 制 被 测 软件 是 其 中 之 一 ， 也 就 是 根据 软件 手 
工 操作 步骤 捕捉 应 用 程序 的 各 个 控件 ， 产 生 与 各 个 控件 相对 应 的 对 象 ， 然 后 保存 到 对 象 库 中 。 
图 8-11 是 UFT 对 象 库 的 管理 界面 。 
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昔 Object Repository 汪 x 


Fs TestObjects 
SD HPE MyFlight Sample Applicato 
FIND FUGHTS 


二 
“Db SELECT FLIGHT 


[rx]el 


伙 fightsDataGnd 
Checkpointand Output Objects 


图 8-11 UFT 对 象 库 的 管理 界面 


需要 注意 的 是 ， 当 软件 升级 后 ， 应 当 修改 对 象 库 中 相应 对 象 的 属性 值 以 保持 对 象 库 的 完整 
性 和 一 致 性 。 当 GUI 元 素 发 生 改变 造成 回放 过 程 找 不 到 对 象 时 , 或 是 对 于 有 些 无 法 捕捉 到 的 对 
象 ， 可 以 使 用 描述 性 编程 的 方式 手工 编写 脚本 ， 但 是 可 能 会 造成 测试 成 本 上 升 和 脚本 不 易 维护 
的 问题 。 


3. UFT 对 象 识别 的 完整 过 程 


UFT 对 象 识别 的 完整 过 程 包括 如 图 8-12 所 示 的 四 个 连续 阶段 。 如 果 在 任意 一 个 阶段 能 够 唯 
一 识别 一 个 对 象 ， 那 么 识别 过 程 就 不 再 执行 剩 下 的 阶段 。 四 个 阶段 分 别 采 用 的 识别 方法 如 下 。 

1) 描述 属性 (Description Properties) 

在 第 一 个 阶段 , UFT 组 合 使 用 强制 Mandatory) 属 性 和 辅助 (Assistive) 属 性 完成 对 象 识 别 ， 上 
述 两 种 属性 的 组 合 被 称 为 已 学 习 描述 (Learned Description)， 有 时 也 称 为 描述 属性 (Description 
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NT 有、 


Properties) 或 测试 对 象 描述 (Test Object Description)。 
e 强制 属性 是 UFT 学 习 对 象 时 总 是 需要 记录 的 对 象 属性 。 
e 辅助 属性 是 当 UFT 只 使 用 强制 属性 无 法 描述 唯一 对 象 时 的 其 他 可 选 属性 。 


人 描述 属性 
(强制 属性 和 辅助 属性 的 组 合 ) 
F 3 et 
对 象 匹配 个 
多 个 丁 
@) 可 视 关系 标识 符 (VRD 
(如 果 已 定义 ) 
于 象 rt 配 > 一 
多 个 无 了 
智能 识别 
G) (基本 属性 和 可 选 属性 的 组 合 ) 
(如 果 已 定义 并 已 启用 ) 
多 个 /无 一 个 
寺 象 匹配 
已 定义 VRI 
多 个 /无 ”vy 未 定义 VRI 
© 顺序 标识 符 
(可 以 是 对 象 索引 、 位 置 或 产生 时 间 ) 
(如 果 已 定义 ) 


对 象 已 识别 


图 8-12 UFT 对 象 识别 过 程 


在 这 一 阶段 识别 对 象 时 ， 如 果 发 现 唯一 的 对 象 与 已 记录 的 对 象 描述 属性 相 匹配 ， 那 么 意味 
着 对 象 识别 成 功 ， 如 果 没 有 发 现任 何 匹 配对 象 ， 那 么 对 象 识别 失败 ， 但是， 如 果 发 现 有 多 个 匹 
配对 象 ， 识 别 过 程 进入 下 面 第 二 个 阶段 进行 处 理 。 

2) 可 视 关系 标识 符 (Visual Relation Identifiers，VRDD 

在 这 一 阶段 ，UFT 利用 可 视 关 系 标识 符 (VRD 完 成 对 象 识别 ，VRI 定义 了 对 象 与 其 邻居 对 
象 的 相对 位 置 。VRI 是 UFT 中 新 增 的 对 象 识别 机 制 。 

例如 ， 如 图 8-13(a) 所 示 ， 一 个 Web 页 面 上 有 两 个 “Submit” 按 钮 ， 第 一 个 “Submit” 按 钮 
在 “OK” 按钮 之 后 ， 第 二 个 “Submit” 按 钮 在 “Cancel” 按 钮 之 后 。 因 为 不 管 以 后 这 些 按钮 出 
现在 网 页 的 什么 位 置 ，“OK” 按 钮 总 是 会 出 现在 第 一 个 “Submit” 按 钮 的 左边 ， 所 以 ， 即 使 在 
以 后 的 测试 过 程 中 ， 这 些 按钮 在 网 页 中 的 位 置 相反 (如 图 8-13(b) 所 示 )，UFT 也 仍然 能 够 识别 出 
第 一 个 “Submit” 按 钮 。 


228 


第 8 章 软件 测试 自动 化 


(a) 测试 设计 时 的 按钮 位 置 (b) 测试 执行 时 的 按钮 位 置 
图 8-13 基于 可 视 关 系 标识 符 的 对 象 识别 
如 果 通 过 这 一 阶段 识别 出 唯一 的 对 象 ， 识 别 过 程 结束 ， 如 果 VRI 没有 被 定义 或 者 通过 VRI 
没有 识别 出 唯一 的 对 象 ， 识 别 过 程 进入 第 三 个 阶段 。 
3) 智能 识别 (Smart Identification) 
在 这 一 阶段 ，UFT 组 合 使 用 测试 对 象 类 的 基本 属性 和 一 些 可 选 属性 来 完成 对 象 识别 。 
e 基本 属性 是 特定 测试 对 象 类 的 最 基本 属性 。 只 要 原始 对 象 本 质 上 没有 发 生变 化 ， 基 本 
属性 的 值 就 不 会 改变 。 
e@ 可 选 属性 是 除了 对 象 基本 属性 之 外 能 够 帮助 识别 特定 类 对 象 的 一 些 属 性 ， 这 些 属性 变 
化 的 可 能 性 不 大 ， 但 是 在 对 象 识别 过 程 中 不 适用 时 可 以 被 忽略 。 
UFT 利用 基本 属性 产生 候选 匹配 对 象 的 列表 ， 然 后 通过 逐 项 对 比 可 选 属性 ,缩小 候选 匹配 
对 象 的 范围 ， 直 到 识别 出 唯一 的 对 象 。 
智能 识别 需要 在 UFT 中 进行 配置 。 打 开 如 图 8-8 所 示 的 对 象 识别 对 话 框 ,在 左上 角 的 下 拉 
列表 中 选择 合适 的 “Environment”， 然 后 选择 需要 配置 的 测试 对 象 类 ， 勾 选 “Enable Smart 
Identification”， 单 击 右 侧 的 “Configure...” 按 钮 即 可 进入 智能 识别 属性 配置 对 话 框 。 通过 单 击 
配置 对 话 框 中 的 “Add/Remove...” 按 钮 可 以 打开 如 图 8-14 所 示 的 基本 属性 和 可 选 属性 列表 ， 


选择 属性 后 完成 智能 识别 配置 。 需 要 注意 的 是 ， 在 基本 属性 和 可 选 属性 列表 中 不 能 选择 同样 的 
属性 。 


Select or clear the properties you want to add Select or clear the properties you want to add 
or remove. 


of remove. 


| Optional Filter Properties 和 
口 abs x 

口 abs v 

acc name 

口 attmbutelmycolor 


[ol 
Ditaroet v [Dinnertext 


OK Cancel OK Cancel 
图 8-14 智能 识别 中 基本 属性 和 可 选 属性 的 配置 
在 这 一 阶段 如 果 识 别 出 唯 一 的 对 象 ， 识 别 过 程 结束 。 否 则 ， 分 为 两 种 情况 .一 种 是 已 利用 
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VRI 进行 过 识别 ， 在 本 阶段 仍然 无 法 识别 出 唯一 的 对 象 ， 那 么 对 象 识别 失败 ， 另 一 种 是 VRI 没 
有 被 定义 过 ， 没 有 经 历 过 VRI 识别 阶段 ， 那 么 识别 过 程 进入 第 四 个 阶段 。 
4) 顺序 标识 符 (Ordinal Identifier) 
顺序 标识 符 是 用 来 标识 对 象 相对 于 其 他 对 象 的 顺序 的 数字 。 当 UFT 发 现 有 多 个 对 象 具 有 相 
同 的 属性 值 而 无 法 对 它们 进行 唯一 识别 时 ， 可 以 通过 顺序 标识 符 将 它们 区 别 开 来 。 例 如 在 图 
8-13(a) 中 ， 可 以 设 定 第 一 个 “Submit” 按钮 的 索引 值 为 1， 第 二 个 “Submit ”按钮 的 索引 值 为 2。 
只 要 这 些 按钮 在 Web 页 面 中 以 同样 的 相对 顺序 出 现 ，UFT 就 能 唯一 地 识别 这 些 对 象 。 
由 于 顺序 标识 符 是 相对 值 ， 任 何 页 面 变 化 都 有 可 能 导致 这 些 值 发 生 改变 ; 因此 ， 只 有 在 利 
用 测试 对 象 的 主要 属性 无 法 唯一 识别 对 象 的 情况 下 才 会 使 用 顺序 标识 符 。 在 录制 脚本 时 ，UFT 
如 果 通过 测试 对 象 的 属性 已 经 能 够 唯一 识别 对 象 ， 那 么 就 不 再 记录 对 象 的 顺序 标识 符 。 可 以 在 
脚本 录制 完成 后 通过 手工 方式 添加 特定 对 象 的 顺序 标识 符 。 
顺序 标识 符 的 “顺序 ”都 是 相对 于 其 他 具有 相同 属性 的 对 象 而 言 的 ， 可 以 在 “Object 
Identification” 窗 口中 通过 “Ordinal identifier” 下 拉 框 选择 以 下 三 种 类 型 的 顺序 标识 符 。 
@ Index 。 识 别 对 象 时 ，UFT 可 以 将 值 分 配给 测试 对 象 的 Index 属性 以 唯一 地 标识 对 象 。 
该 值 基 于 对 象 出 现在 源 代码 中 的 顺序 。 
e@ Location 。 识 别 对 象 时 ，UFT 可 以 将 值 分 配给 测试 对 象 的 Location 属性 以 唯一 地 标识 
对 象 。 该 值 基于 对 象 相 对 于 具有 相同 属性 的 其 他 对 象 出 现在 窗口 、 框 架 或 对 话 框 中 的 
顺序 。 值 在 列 中 的 分 配 顺序 是 从 上 到 下 ， 从 左 到 右 。 
e@ ”CreationTime。 仅 适用 于 浏览 器 对 象 ,识别 浏览 器 对 象 时 , UFT 将 值 分 配给 CreationTime 
标识 属性 。 该 值 指示 浏览 器 相对 于 其 他 打开 浏览 器 的 打开 顺序 。 


8.2.4 ”自动 化 测试 框架 


1. 自动 化 测试 框架 的 基本 含义 


在 进行 软件 开发 时 会 用 到 各 种 框架 ， 例 如 SSH(Struts+Spring+Hibemate) 框 架 。 框 架 提供 了 
软件 系统 整体 或 部 分 的 可 重用 设计 ， 是 可 以 被 开发 者 直接 使 用 和 扩展 定制 的 应 用 骨架 。 软 件 重 
用 从 模块 和 对 象 重用 发 展 到 构件 和 框架 重用 ， 重 用 粒度 不 断 增 大 。 

自动 化 测试 框架 是 一 种 特殊 类 型 的 框架 ， 用 于 解决 特定 的 自动 化 测试 问题 。 从 广义 上 讲 ， 
自动 化 测试 框架 是 一 组 自动 化 测试 的 规范 和 测试 脚本 的 基础 代码 ， 以 及 测试 思想 、 方 法 和 惯例 
的 集合 ， 从 狭义 上 讲 ， 自 动 化 测试 框架 是 由 一 个 或 多 个 自动 化 测试 基础 模块 、 自 动 化 测试 管理 
模块 、 自 动 化 测试 统计 模块 等 组 成 的 工具 集合 ， 以 便于 设计 、 维 护 和 重用 测试 用 例 以 及 有 效 地 
完成 测试 执行 和 测试 报告 工作 。 

典型 的 自动 化 测试 框架 一 般 包括 如 图 8-15 所 示 的 测试 用 例 管理 模块 、 自 动 化 执行 控制 器 、 
报表 生成 模块 和 测试 日 志 模块 等 ， 这 些 模块 之 间 相互 联系 、 相 互 配 合 。 
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自动 化 测试 框架 


测试 用 例 lr a 测试 日 志 
管理 模块 控制 器 模块 模块 


图 8-15 自动 化 测试 框架 的 基本 模块 


。 测试 用 例 管理 模块 包括 用 例 的 添加 、 修 改 、 删 除 等 基本 功能 ， 也 包括 用 例 编写 模式 、 
测试 数据 管理 、 可 复 用 的 测试 用 例 库 管理 等 功能 。 

e ”自动 运行 控制 器 主要 负责 以 什么 方式 执行 用 例 ， 比 较 典型 的 控制 器 有 GUI 和 “命令 行 + 
文件 ”两 种 。 

e 报表 生成 模块 主要 负责 用 例 执行 以 后 生成 报表 ， 报 表 一 般 为 HTML 格式 ， 主 要 包括 用 
例 的 执行 情况 以 及 相应 的 总 结 报告 。 

。 测试 日 志 模块 主要 用 来 记录 用 例 的 执行 情况 ， 以 便于 高 效 地 追踪 用 例 执 行情 况 和 分 析 

用 例 失败 信息 。 


2. 自动 化 测试 脚本 类 型 


为 了 理解 自动 化 测试 框架 ， 首 先 需要 了 解 自动 化 测试 脚本 的 类 型 。 在 自动 化 测试 中 ， 虽 然 
测试 脚本 在 功能 测试 中 应 用 最 多 ， 但 是 同样 可 以 应 用 于 集成 测试 、 性 能 测试 等 方面 。 脚 本 本 身 
是 一 种 计算 机 程序 , 测试 脚本 不 仅 包含 操作 指令 和 数据 ， 也 包含 比较 、 控 制 和 数据 存 取 等 信息 。 
根据 发 展 阶段 ， 测 试 脚本 的 类 型 从 低 到 高 经 历 了 如 下 5 个 发 展 层次 。 

1) 线性 脚本 

线性 脚本 是 由 测试 工具 录制 并 记录 软件 操作 过 程 和 输入 数据 后 形成 的 脚本 ， 通 过 回放 来 重 
复 人 工 操作 的 过 程 ， 一 般 用 于 简单 测试 或 者 作为 基本 脚本 供 修改 后 进一步 使 用 。 线 性 脚本 中 可 
以 包括 一 些 比 较 、 等 待 等 简单 指令 ， 但 总 的 来 讲 仍然 是 一 种 “流水 账 ” 式 的 指令 序列 。 线 性 肢 
本 的 数据 和 脚本 指令 混合 在 一 起 ， 一 般 一 个 测试 用 例 对 应 一 个 脚本 ， 因 此 维护 成 本 很 高 。 即 使 
是 界面 的 简单 变化 也 会 造成 脚本 需要 重新 录制 ， 脚 本 难以 重用 。 下 面 的 线性 脚本 示例 用 于 测试 
计算 器 的 加 法 功能 。 

Sub Main 

Window Set Context "Caption=Calculator", "" '5 

PushButton Click "ObjectIndex=10"” 路 

PushButton Click, "ObjectIndex=20" '6 

PushButton Click "ObjectIndex=14"” 一 

PushButton Click "Objectmdex=21"” '11 

Result =LabelUP (CompareProperties, "Text=11.", "UP=Obiject Properties") 

End Sub 

2) 结构 化 脚本 

结构 化 脚本 类 似 于 结构 化 程序 ， 具 有 顺序 、 分 支 、 循 环 等 逻辑 结构 。 例 如 下 面 的 脚本 通过 
UFT 检查 Mercury Tours 站 点 (http://www.newtours.demoaut.com) 中 是 否 存在 User Name 编辑 框 ， 
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如 果 存 在 编辑 框 ， 则 输入 用 户 名 ， 否 则 将 消息 发 送 到 “运行 结果 ”界面 。 

If Browser("Welcome:Mercury").Page("Welcome:Mercury").WebEdit("userName").Exist 

Then 

Browser("Welcome:Mercury"). Page("Welcome:Mercury") WebEdit("userName"). 

Set DataTable ("p_UserName", dtGlobalSheet) 

Else 

Reporter.ReportEvent micFail "UserName Check", " UserName field does not exist." 

End1f 

结构 化 脚本 能 够 体现 模块 化 与 库 函 数 的 思想 。 模 块 化 后 的 脚本 可 以 支持 分 层 的 脚本 结构 ， 
实现 脚本 之 间 的 相互 调用 。 可 以 被 多 个 测试 用 例 使 用 的 脚本 有 时 也 称 为 共享 脚本 。 进 一 步 ， 可 
以 将 模块 化 后 的 脚本 构造 为 库 函数 ， 通 过 函数 调用 供 上 层 脚 本 使 用 。 因 此 ， 结 构 化 脚本 具有 较 
好 的 可 读 性 、 可 重用 性 和 易 维护 性 。 

3) 数据 驱动 脚本 

数据 驱动 脚本 将 测试 数据 和 具体 测试 执行 过 程 分 离 ， 将 测试 输入 数据 存储 在 独立 的 数据 文 
件 或 数据 库 中 。 测 试 执行 时 ， 通 过 变量 引用 数据 ， 将 测试 数据 传 入 测试 脚本 来 驱动 测试 流程 。 
简单 来 说 ， 就 是 执行 相同 的 测试 步 又， 使 用 不 同 的 测试 数据 。 不 同 的 测试 数据 对 应 不 同 的 测试 
用 例 ， 避 免 了 测试 脚本 的 大 量 重复 ， 提 高 了 脚本 的 利用 率 和 可 维护 性 。 但 是 ， 数 据 驱 动 脚 本 受 
软件 界面 变化 的 影响 仍然 很 大 。 

String filepath= /src/main/resources/TestcsV 

Reader file=new FileReader(filepath); 

CSVFormat format=CSVFormat. DEFAULT.withHeader(filepath).withSkipHeaderRecordO: 

Iterable<CSVRecord> records=format.parse(file); 

For (CSVRecord record:records){ 

String usemame=record.get(0): 

String password=record.get(1):; 

System.out.printIn(usemame+password): 

publicModels.login(driver,username.password): 

例如 ， 测 试 软件 登录 功能 时 ， 基 本 操作 相同 。 如 果 需 要 验证 大 量 用 户 账号 的 有 效 性 ， 可 以 
把 这 些 账号 的 数据 放 到 一 个 外 部 文件 中 ， 脚 本 执行 时 循环 从 这 个 外 部 文件 中 读 取 数据 完成 验证 
工作 。 这 里 的 示例 是 一 个 数据 驱动 测试 脚本 的 部 分 片段 , 用户 名 和 密码 存储 在 Test.csv 文件 中 ， 
每 次 循环 读 取 后 完成 用 户 账号 的 有 效 性 测试 。 

4) 关键 字 驱 动 脚本 

关键 字 驱 动 脚本 用 一 系列 关键 字 指定 要 执行 的 测试 任务 。 关 键 字 对 应 封装 的 业务 逻辑 ， 各 
种 基本 操作 由 关键 字 代表 的 函数 完成 ， 开 发 脚本 时 无 须 关 注 函数 的 实现 细节 ， 因 此 大 大 降低 了 
测试 脚本 的 开发 难度 ， 增 强 了 脚本 的 可 维护 性 。 关 键 字 驱 动 脚本 的 特点 是 看 起 来 更 像 是 直观 的 
手工 测试 用 例 ， 非 常 易于 阅读 理解 。 通 过 测试 工具 能 够 方便 地 将 关键 字 驱 动 脚本 转换 为 各 种 编 
程 语言 脚本 ， 支 持 跨 平台 的 测试 用 例 共 享 。 图 8-16 是 一 个 通过 Katalon Recorder 生成 的 关键 字 
驱动 脚本 ， 用 于 测试 Mercury Tours 站 点 的 登录 功能 。 
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Command Target Value 

open http//www newtours demoautcomy 

Click name=userName 

type name-userName MyUserName 

click name=password 

type name-password MyPassword 

click name=login 

verifyText 站 Dr ‘Welcome back to Mercury Tours! 
olowing-bl1] 

close Win_ser Jocal 


图 8-16 关键 字 驱 动 脚本 示例 


从 上 述 内 容 可 以 看 出 ， 自 动 化 测试 脚本 的 发 展 与 软件 开发 的 发 展 非常 类 似 。 软 件 开发 中 的 
模块 化 、 层 次 化 、 松 耦合 以 及 从 具体 到 抽象 、 复 用 粒度 从 细 到 粗 的 开发 思想 也 同样 体现 在 测试 
脚本 的 发 展 过 程 中 。 


3. 自动 化 测试 框架 的 类 型 


自动 化 测试 框架 面 对 的 核心 问题 是 如 何 有 效 地 设计 测试 脚本 、 处 理 测试 数据 、 简 化 脚本 维 
护 的 复杂 性 、 在 最 大 程度 上 减少 脚本 维护 的 工作 量 。 因 此 ， 自 动 化 测试 工作 在 启动 之 初 就 需要 
考虑 如 何 选择 合适 的 自动 化 测试 框架 ， 而 不 是 仅仅 依赖 于 简单 的 测试 录制 与 回放 工具 。 同 时 ， 
了 解 不 同 的 自动 化 测试 框架 也 有 助 于 测试 团队 根据 具体 需求 和 经 验 设计 满足 自身 要 求 的 自动 化 
测试 框架 。 基 本 的 自动 化 测试 框架 主要 分 为 以 下 几 种 类 型 。 

1) 测试 脚本 模块 化 框架 (Test Script Modularity Framework) 

测试 脚本 模块 化 框架 的 特点 是 将 被 测 程序 分 解 为 多 个 逻辑 模块 ， 对 每 个 逻辑 模块 都 创建 一 
个 小 而 独立 的 测试 脚本 ， 测 试 脚本 中 包含 各 功能 点 的 控件 识别 和 业务 逻辑 操作 。 这 些 独 立 脚本 
组 合 在 一 起 最 终 构成 更 大 的 、 能 用 于 特定 测试 用 例 的 脚本 ， 通 过 主 脚本 调用 各 个 模块 化 后 的 脚 
本 来 实现 所 需 的 测试 场景 。 由 于 每 个 脚本 模块 具有 独立 性 ， 因 此 任何 部 分 的 更 改 都 不 会 影响 其 
他 脚本 模块 ， 提 高 了 自动 化 测试 的 可 维护 性 和 可 升级 性 。 

这 种 框架 的 使 用 要 求 测试 工程 师 必 须 了 解 自 动 化 编程 和 业务 逻辑 ， 并 且 负 责 完 成 测试 脚本 
和 测试 数据 的 维护 工作 。 这 种 框架 的 优点 是 容易 掌握 和 使 用 ， 并 且 当 控件 和 业务 逻辑 发 生变 化 
时 ， 需 要 修改 和 维护 的 只 是 底层 的 脚本 模块 ， 因 此 优 于 没有 任何 抽象 封装 的 自动 化 测试 程序 。 
这 种 框架 的 缺点 是 几乎 所 有 大 的 变更 所 导致 的 修改 和 维护 工作 都 要 由 自动 化 测试 工程 师 完成 ， 
并 且 控件 识别 和 业务 轴 得 混合 在 一 起 ， 没 有 很 好 地 进行 抽象 封装 。 

2) 测试 库 架 构 框 架 (Test Library Architecture Framework) 

这 种 框架 与 脚本 模块 化 框架 类 似 ， 同 样 能 够 产生 高 度 模块 化 的 测试 用 例 。 不 同 的 是 ， 被 测 
程序 被 分 解 为 过 程 和 函数 ， 而 不 是 测试 脚本 。 所 有 测试 用 例 中 的 常用 功能 可 以 作为 函数 被 存储 
在 公共 测试 库 中 (例如 SQABasic Libraries、API、DLL 等 )。 例 如 ， 将 所 有 控件 识别 操作 封装 在 
测试 库 中 ， 测 试 脚本 能 够 根据 需要 调用 这 些 库 函 数 。 

测试 库 架 构 框架 的 优点 是 ， 当 界面 控件 改变 时 只 需要 修改 库 函 数 ， 调 用 该 控件 的 测试 用 例 
就 会 随即 更 新 。 此 外 ， 编 写 和 维护 测试 库 的 测试 开发 工程 师 不 必 一 定 熟 悉 用 户 业 务 ; 脚本 的 编 
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写 交 给 熟悉 用 户 业 务 的 测试 开发 工程 师 完成 ， 并 且 负 责 业 务 罗 辑 变更 后 的 脚本 维护 ， 测 试 数据 
的 维护 可 以 交 给 不 懂 自 动 化 开发 的 测试 人 员 负责 。 因 此 ， 无 论 系统 界面 、 业 务 逻 辑 或 数据 在 哪 
一 层 发 生变 化 ， 只 需要 相应 的 人 员 进 行 变更 维护 即 可 ， 从 根本 上 实现 了 控件 识别 操作 和 业务 逻 
辑 的 抽象 分 离 。 这 种 框架 的 缺点 是 : 由 变更 引起 的 工作 主要 还 是 由 自动 化 测试 开发 工程 师 完成 ， 
这 类 高 级 测试 人 员 在 测试 团队 中 往往 数量 有 限 。 
3) 数据 驱动 测试 框架 (Data-Driven Testing Framework) 
当 使 用 不 同 的 输入 数据 集 多 次 测试 相同 功能 时 ， 不 应 当 以 硬 编码 的 形式 在 测试 脚本 中 大 量 
联 入 这 些 测试 数据 ， 而 是 应 当 将 其 保存 在 XML 文件 、CSV 文件 、 数 据 库 等 外 部 数据 源 中 。 测 
试 执行 时 ， 通 过 脚本 代码 将 测试 数据 载 入 到 脚本 变量 中 。 脚 本 变量 可 以 存储 测试 输入 值 ， 也 可 
以 存储 预期 结果 验证 值 。 
数据 驱动 测试 框架 的 优点 是 通过 分 离 测试 脚本 和 测试 数据 ， 显 著 减 少 了 覆盖 测试 场景 所 需 
的 测试 脚本 数量 ， 并 且 测 试 数据 可 以 单独 进行 维护 。 这 种 框架 的 缺点 是 初次 开发 测试 用 例 的 开 
销 较 大 ， 因 被 测 程序 变化 导致 的 测试 用 例 修 改 和 维护 工作 量 在 所 有 框架 中 是 最 多 的 ， 因 此 维护 
成 本 很 高 。 
4) 关键 字 驱 动 或 表 驱 动 测试 框架 Keyword-Driven or Table-Driven Testing Framework) 
关键 字 驱 动 测试 框架 源 于 数据 驱动 测试 框架 。 在 数据 驱动 测试 框架 中 ， 数 据 文件 中 只 包含 
测试 数据 ， 而 在 关键 字 驱 动 框架 中 ， 数 据 文件 中 存储 的 是 关键 字 和 测试 数据 。 这 些 数据 和 关键 
字 独 立 于 执行 它们 的 测试 工具 与 测试 脚本 代码 ， 并 且 可 以 用 来 “驱动 ”测试 脚本 运行 ， 因 此 基 
于 关键 字 驱 动 的 测试 用 例 看 上 去 与 手工 测试 用 例 类 似 。 由 于 数据 文件 一 般 以 表格 形式 出 现 ， 记 
录 了 与 被 测 程序 功能 和 测试 步骤 有 关 的 对 象 、 操 作 和 测试 数据 ， 因 此 这 种 框架 也 称 为 表 驱 动 测 
试 框架 。 表 中 的 数据 还 可 以 进一步 分 离 出 形成 单独 的 测试 数据 文件 ， 框 架 本 身 所 要 做 的 就 是 识 
别 表 中 的 对 象 以 及 操作 。 
关键 字 驱 动 框架 的 特点 是 测试 脚本 与 数据 分 离 、 软 件 界 面 元 素 名 与 测试 内 部 对 象 名 分 离 、 
测试 描述 与 具体 实现 细节 分 离 。 关 键 字 驱 动 测 试 框架 具有 与 数据 驱动 测试 框架 相同 的 优点 ， 除 
此 之 外 还 具有 以 下 一 些 优 点 。 
e 测试 人 员 可 以 独立 于 脚本 语言 开发 测试 用 例 ， 在 数据 表 中 就 可 以 实现 测试 步 又、 测试 
数据 以 及 验证 结果 的 编写 。 因 此 ， 普 通 的 测试 工程 师 在 不 了 解 测试 工具 和 框架 本 身 知 
识 的 情况 下 就 能 维护 控件 对 象 、 业 务 罗 辑 和 测试 数据 ， 不 再 依赖 自动 化 开发 工程 师 。 
e 人 允许 测试 人 员 创 建 多 个 关键 字 ， 为 每 个 关键 字 关 联 唯一 的 操作 或 功能 。 还 可 以 帮助 测 
试 人 员 创 建 操作 或 函数 库 ， 在 函数 库 中 包含 读 取 关 键 字 并 调用 相关 操作 的 逻辑 功能 。 
e 测试 用 例 的 编写 与 正在 使 用 的 测试 工具 无 关 ， 因 此 测试 人 员 选 择 测试 方法 时 更 多 考虑 
的 是 自身 需要 而 不 是 为 了 适应 测试 工具 。 
这 种 框架 的 缺点 是 抽象 程度 比较 高 ， 因 此 对 自动 化 开发 工程 师 的 要 求 较 高 。 
5) 混合 测试 自动 化 框架 (Hybrid Test Automation Framework) 
自动 化 测试 框架 的 主要 目的 是 对 不 同 层次 的 对 象 和 逻辑 进行 抽象 、 分 离 与 封装 ， 以 使 于 把 
程序 变更 引起 的 测试 用 例 修改 和 维护 工作 量 减 少 到 最 小 。 因 此 ， 实 际 工 作 中 一 般 用 到 的 自动 化 
测试 框架 是 混合 框架 (如 图 8-17 所 示 )， 这 种 框架 结合 了 上 述 多 种 框架 的 优点 并 且 弥 补 了 单一 框 
架 的 不 足 。 混 合 测试 自动 化 框架 允许 数据 驱动 的 脚本 以 基于 关键 字 的 方式 利用 功能 强大 的 库 函 
数 ， 发 挥 了 所 有 相关 框架 的 优势 。 
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ne 
测试 库 调用 、 来 自 于 测 
| 测试 用 例 脚本 | 。 | 数据 结合 在 一起 , 构建 成 易于 维护 


和 更 为 强健 的 测试 用 例 。 
代表 被 测 人 
和 
级 别 的 层 [ey 厅 | 是 :了 
a 


> | 生成 库 文件 以 测试 函数 过 程 调用 | 时 数据 池 
v y 便于 使 框架 模 0 一 一 一 | 门 厂 淖 , 
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图 8-17 混合 测试 自动 化 框架 


测试 工具 的 分 类 与 选择 


测试 工具 对 于 软件 测试 工程 师 的 重要 性 不 言 而 喻 。 使 用 合适 的 测试 工具 可 以 使 测试 工作 事 
半 功 倍 ， 取 得 令 人 满意 的 测试 效果 。 但 是 ， 测 试 工具 相 比 软件 开发 工具 而 言 有 着 明显 的 不 同 。 
主流 的 软件 开发 工具 一 般 根据 程序 语言 进行 分 类 ， 数 量 相对 有 限 ， 比 较 容易 选择 ， 而 测试 工具 
可 以 根据 测试 技术 、 测 试 对 象 、 测 试 阶段 和 测试 目的 等 进行 分 类 ， 又 包括 免费 的 开源 测试 工具 
和 付费 的 商业 测试 工具 ， 并 且 数 量 众多 ， 全 新 的 或 新 版 本 的 测试 工具 层出不穷 。 测 试 工具 的 上 
述 特点 给 测试 工具 的 选择 造成 了 一 定 困 难 。 为 了 合理 地 选择 测试 工具 ， 首 先 需要 了 解 测试 工具 
的 分 类 以 及 主流 测试 工具 的 功能 与 特点 。 


8.3.1 测试 工具 的 分 类 


根据 测试 工具 的 应 用 领域 可 以 将 它们 划分 为 白 盒 测 试 工具 、 黑 盒 测试 工具 和 测试 管理 工具 
三 种 类 型 。 白 盒 测 试 工具 用 于 测试 软件 的 源 代 码 , 可 以 实现 对 程序 代码 的 静态 分 析 和 动态 测试 ， 
一 般 用 于 单元 测试 ， 黑 盒 测 试 工具 主要 包括 功能 测试 工具 和 性 能 测试 工具 ， 通 常用 于 系统 测试 
和 验收 测试 ， 测 试管 理工 具 主 要 面向 整个 测试 流程 的 管理 ， 包 括 测试 计划 和 测试 用 例 管理 、 缺 
陷 跟踪 和 测试 报告 管理 等 功能 。 


1. 商业 测试 工具 


专业 开发 测试 工具 的 公司 有 很 多 ， 其 中 以 MIQMercury Interactive)、IBM Rational 和 Micro 
Focus 最 为 著名 。MI 被 惠普 收购 后 公司 名 称 经 常 被 称 为 HP Mercury， 类 似 于 Rational 被 BM 
收购 后 改名 为 BM Rational 一 样 。 由 于 同一 家 公司 开发 的 多 种 测试 工具 往往 能 比较 好 地 集成 在 
一 起 ， 因 此 建立 测试 系统 时 经 常会 根据 工具 生产 商 来 考查 测试 工具 的 适用 性 。 商 业 测试 工具 的 
特点 通常 是 功能 丰富 、 强 大 、 适 用 面 广 ， 但 是 深入 学 习 和 掌握 具有 一 定 难度 ， 一 些 工 具 购买 费 
用 较 高 。 

1) MI 的 主要 测试 工具 

MI 开发 的 测试 工具 中 最 著名 的 是 LoadRunner、 UFT\QTP\WWinRunner 和 Quality Center Test 
Director。 
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LoadRunner 是 测试 人 员 都 熟知 的 性 能 测试 工具 ， 能 够 满足 企业 级 应 用 ， 实 现 对 C/S 和 B/S 
结构 的 软件 系统 的 性 能 测试 。LoadRunner 通过 模拟 大 量 的 虚拟 并 发 用 户 形成 系统 负载 ， 实 时 记 
录 和 检测 系统 在 不 同 负载 下 的 性 能 表现 ， 预 测 和 评估 整个 软件 架构 的 各 种 性 能 特征 ， 发 现 系统 
性 能 问题 与 性 能 瓶颈 ， 以 此 为 基础 进行 系统 性 能 优化 。LoadRunner 能 够 在 Windows、UNIX、 
Linux 等 多 种 操作 系统 平台 上 安装 运行 ， 支 持 广泛 的 协议 和 技术 ， 因 此 能 够 根据 软件 特定 运行 
环境 提供 个 性 化 的 性 能 测试 方案 。 

UFT\QTP\WinRunner 三 者 都 是 MI 开发 的 功能 测试 工具 。WinRunner 是 MI 的 早期 产品 ， 
基于 Windows 操作 系统 。HP 已 停止 对 WinRunner 所 有 版 本 的 支持 ， 因 此 WinRunner 已 逐步 退 
出 市 场 。 由 于 WinRunner 使 用 类 似 C 语言 的 TSL 脚本 语言 ， 拥 有 丰富 的 C 语言 函数 库 ， 在 系 
统 底层 和 嵌入 式 领 域 具有 一 定 便利 性 ， 因 此 国内 一 些 企业 仍然 在 使 用 。QTP(Quick Test 
ProfessionalD) 是 MI 在 WinRunner 之 后 主推 的 功能 测试 工具 .QTP 具备 与 WinRunner 几乎 相同 的 
功能 ， 同 时 还 包含 一 些 独 有 的 特性 ， 使 用 更 简单 、 更 易 扩展 和 维护 ， 能 够 更 好 地 用 于 测试 基于 
J2EE 和 NET 架构 的 应 用 程序 。QTP 使 用 VBScript 语言 ， 比 较 容易 学 习 ， 并 且 通 过 关键 字 驱 动 
测试 使 得 测试 人 员 能 更 好 地 设计 测试 脚本 。MI 将 2012 年 12 月 发 布 的 QTP 新 版 本 更 名 为 HP 
UFT 11.5, 在 UFT 中 整合 了 原 有 的 QTP 和 面向 Web 服务 测试 的 HP Service Test, 使 UFT 成 为 
针对 网 络 、 移 动 、API 和 应 用 程序 的 统一 功能 测试 软件 。 

Quality Center\Test Director 是 MI 开发 的 测试 管理 工具 。Test Director( 简 称 TD) 是 基于 Web 
的 测试 管理 系统 ， 在 服务 器 端 安装 后 就 可 以 通过 客户 端 浏览 器 进行 访问 ， 便 于 测试 人 员 在 测试 
过 程 中 进行 沟通 与 协作 ， 能 够 完成 需求 管理 、 测 试 计划 管理 、 测 试用 例 管理 和 缺陷 跟踪 管理 。 
HP 收购 MI 后 将 TD 升级 为 Quality Center( 简 称 QC), 将 软件 迁移 到 J2EE 平台 。QC 能 够 与 MI 
的 其 他 测试 工具 以 及 Office 和 IBM Rational 等 产品 很 好 地 集成 。 

2) IBM Rational 的 主要 测试 工具 

IBM Rational 公司 的 产品 是 涵盖 需求 管理 、 软 件 建 模 、 配 置 管理 等 的 全 方位 软件 工程 
CASE(Computer Assisted Software Engineering) 工 具 ， 典 型 优势 是 几乎 所 有 的 工具 都 支持 跨 平台 
安装 。IBM Rational 主要 有 以 下 一 些 测试 工具 。 

e@ Rational 功能 测试 工具 可 分 为 手动 测试 工具 Rational Manual Tester 和 自动 化 测试 工具 

Rational Functional Tester、Rational Robot。 

e@ Rational 性 能 测试 工具 包括 Rational Performance Tester 和 Rational Robot。 Rational Robot 

包括 功能 测试 和 性 能 测试 。 

e@ ”Rational 白 盒 测试 工具 包括 Rational PurifyPlus 和 Rational TestRealTime。 

e@ Rational 测试 管理 工具 包括 Rational TestManager 和 Rational ClearQuest。 

3) Micro Focus 的 主要 测试 工具 

英国 Micro Focus 公司 的 测试 工具 很 多 源 自 于 著名 的 Compuware 公司 和 Segue 公司 。2009 
年 Micro Focus 收购 了 Compuware 全 部 的 质量 保证 解决 方案 与 产品 ，2006 年 4 月 Borland 公司 
收购 了 Segue 公司 ，2009 年 Borland 公司 又 被 Micro Focus 全 部 收购 。Compuware 公司 的 黑 盒 
测试 工具 集 QACenter 里 包括 功能 测试 工具 QARun、 性 能 测试 工具 QALoad 和 测试 管理 工具 
QADirector， 同 时 Compuware 公司 还 有 缺陷 管理 工具 TrackRecord、 强 大 的 白 盒 测试 工具 
DevPartner。 但是，2009 年 Compuware 的 产品 被 Micro Focus 收购 之 后 ，QARun 在 Micro Focus 
产品 中 找 不 到 位 置 ， 取 而 代 之 的 是 QARun 的 升级 版 Micro Focus TestPartmer， 侧 重 于 应 用 软件 
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的 业务 逻辑 测试 ， 让 非 技术 的 测试 人 员 能 够 进行 偏向 业务 流 层面 的 自动 化 功能 测试 。Segue 公 
司 是 一 家 专业 开发 测试 工具 的 厂商 ， 其 产品 SilkTest、SilkPerformer 完全 可 以 和 Mercury QTP、 
LoadRunner 媲美 ， 在 国际 市 场 上 占有 的 份额 也 相当 大 。 

除了 上 述 三 个 公司 的 测试 工具 之 外 ， 市 场 上 还 有 众多 其 他 公司 开发 的 测试 工具 。 表 8-1 总 
结 了 一 些 主要 公司 的 商业 测试 工具 。 


表 8-1 主要 的 商业 测试 工具 


功能 测试 测试 管理 
二 Test Director 
[erci UFTQ 
Quality Center 
Rational Manual | Rational 
Td Tester、Rational i 人 区 Rd TestManager 
Functional Tester、 i ” Rational 
Test RealTime 
Rational Robot ClearQuest 
QARun、Micro 
Micro Focus 、 QADirector 
Focus TestPartner、 TmeCoverage 
(Compuware、 Seeue) TrackRecord 


Micro Focus SilkTest DevPartner 


| | ogiscope | 
C++Test、JTest、 
Parasoft WebKing SR 
Pro, 
| Di 
Research 


Radview WebFT | wa | | reswviewManager 


ACT(Application 
ee i 
Center Test 


Telelogic 


2. 开源 测试 工具 

商业 测试 工具 虽然 功能 完善 ， 但 也 价格 不 菲 。 对 于 中 小 型 软件 企业 来 讲 ， 可 以 首先 考查 开 
源 测试 工具 是 否 能 满足 要 求 ， 不 满足 要 求 时 再 购买 商业 测试 工具 以 节省 测试 投入 。 目 前 开源 测 
试 工具 的 发 展 非常 迅猛 ， 从 白 盒 测试 、 功 能 测试 、 性 能 测试 以 及 测试 管理 等 方面 都 可 以 找到 大 
量 优秀 的 开源 测试 工具 。 接 下 来 简要 介绍 一 些 主要 的 开源 测试 工具 。 

1) 白 盒 测 试 工具 

由 于 白 盒 测 试 涉及 程序 源 代码 ， 因 此 一 般 针 对 不 同 的 程序 语言 有 着 不 同 的 白 盒 测 试 工具 ， 
最 著名 的 是 xUnit 系列 框架 中 针对 不 同 语言 的 测试 工具 ， 例 如 JUnit(Java)、CppUnit(C++)、 
DotUnit(.Net)、HtmlUnit(HTML)、JsUnit(JavaScript)、PHPUnit(PHP)、PerlUnit(Pear) 等 。 其 中 以 
JUnit 最 为 著名 ， 多 数 Java 开发 环境 都 已 经 集成 了 JUnit 作为 单元 测试 工具 。 此 外 ， 还 有 大 量 的 
白 盒 开 源 测 试 工 具 ， 下 面 列 出 几 种 以 供 参考 选用 。 

e@ JsTestDriver 是 一 个 JavaScript 单元 测试 工具 ， 能 很 好 地 与 持续 构建 系统 集成 。 

e@ Google Test 是 Google 的 开源 C++ 单元 测试 框架 ， 简 称 GTest， 支 持 跨 平 台 。 

e@ CppTest 是 一 个 简单 、 轻 便 的 C++ 单元 测试 框架 ， 有 着 良好 的 实用 性 与 可 扩展 性 , 支持 

多 种 输出 格式 。CppTest 最 大 的 优点 是 容易 理解 、 便 于 掌握 和 使 用 。 
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Robolectric 是 一 款 Android 程序 单元 测试 工具 ， 与 需要 运行 在 Android 环境 中 的 
AndroidTest 相 比 ，Robolectric 可 以 直接 运行 在 JVM 上 ， 因 此 可 以 脱离 Android 环境 进 
行 测试 ， 速 度 也 更 快 ， 可 以 直接 由 Jenkins 周期 性 地 执行 。 

功能 测试 工具 

AnutoIT 是 一 个 使 用 类 似 于 VBScript 脚 本 语言 的 免费 软件 ， 用 于 测试 基于 Windows GUI 
操作 的 软件 。 

Ruby+Watir 组 合 是 近年 非常 流行 的 全 免费 自动 化 测试 框架 , 它 通过 Ruby 脚本 的 强大 编 
程 能 力 ， 基 于 Watir 的 强大 接口 ， 可 以 实现 对 Web 应 用 程序 的 自动 化 测试 。 

Selenium 是 一 款 全 免费 的 自动 化 测试 框架 , 由 ThoughtWorks 公司 开发 ,支持 Ruby、Java、 
Perl、Python 等 脚本 语言 ， 目 前 在 国内 外 日 益 流行 。 

性 能 测试 工具 

JMeter 是 目前 业内 使 用 最 广泛 的 性 能 测试 工具 ， 最 初 只 是 测试 Web 应 用 ， 目 前 已 经 能 
够 支持 HTTP/HTTPS、SOAP、JDBC、LDAP、JMS 等 ， 在 国内 非常 普及 。 

TestMaker 是 PushToTest 公司 的 免费 产品 , 功能 相 比 商业 工具 有 过 之 而 无 不 及 , 可 以 和 
Seleinium、SoapUI 集成 ， 充 分 利用 Selenium 和 SoapUI 的 测试 能 力 ， 而 TestMarker 只 
是 更 好 地 调度 、 监 控 和 管理 测试 的 过 程 ， 监 控 系 统 的 性 能 指标 ， 获 得 测试 结果 。 
ApacheBench 能 同时 模拟 多 个 并 发 请 求 ， 专 门 用 于 Web 服务 器 的 基准 测试 。 

Grinder 是 一 个 负载 测试 框架 ， 被 誉 为 PEE 上 的 LoadRunner， 支 持 多 种 协议 的 Web 服 
务 和 应 用 服务 器 ， 基 于 HTTP 的 测试 可 以 由 浏览 器 记录 整个 测试 过 程 。 

Siege 是 一 个 压力 测试 和 评测 工具 ， 用 于 Web 开发 。 

测试 管理 工具 


测试 管理 工具 开发 难度 较 小 ， 因 此 开源 免费 的 产品 很 多 ， 下 面 是 一 些 常见 工具 。 


8.3.2 


Bugzilla 是 目前 业内 最 成 熟 的 开源 免费 缺陷 管理 工具 ， 可 与 CVS 进行 无 颖 集成 。 
Mantis 是 一 款 Web 缺陷 管理 工具 ， 国 内 使 用 较 多 。 

BugFree 与 Mantis 功能 类 似 ， 是 一 款 轻 量 级 的 Web 缺陷 管理 工具 。 

TestLink 可 对 测试 需求 、 测 试 计划 、 测 试用 例 、 测 试 执行 、 软 件 缺 陷 报告 等 进行 完整 
管理 。 


当前 最 好 的 自动 化 测试 工具 


一 些 世 界 顶 级 的 咨询 公司 在 2017-2018 世界 质量 报告 中 给 出 了 世界 排名 前 10 的 自动 化 测试 
工具 ， 其 中 既 包 含 免 费 工 具 也 包含 商业 工具 。 

1) Selenium( 开 源 ，http://www.seleniumhq.org) 

Selenium 是 Web 应 用 程序 功能 测试 中 最 受 欢迎 的 开源 测试 自动 化 框架 , 支持 多 种 系统 环境 
(如 Windows、Linux、i1OS、Android 等 ) 和 浏览 器 。 它 的 脚本 可 以 用 各 种 编程 语言 编写 , 例如 Java、 


Python、 


C#、PHP、Ruby 和 Perl。 


2) Katalon Studio( 免 费 ，https://www.katalon.com) 
Katalon Studio 是 一 款 Web 应 用 程序 、 移 动 应 用 和 Web 服务 测试 自动 化 解决 方案 ， 建 立 在 
Selenium 和 Appium 框架 的 基础 之 上 。 非 程序 员 可 以 很 容易 地 使 用 Object Spy 记录 测试 脚本 ， 
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而 程序 员 和 高 级 自动 化 测试 人 员 可 以 节省 构建 新 对 象 库 和 维护 脚本 的 时 间 。 

3) UFT( 商 业 ，https://software.microfocus.com/fi-ca/software/uft) 

UFT 为 跨 平台 的 桌面 、Web 和 移动 应 用 程序 提供 全 面 的 API、Web 服务 和 GUI 测试 功能 
集 ， 能 够 很 好 地 与 Mercury Business Process Testing 和 Mercury Quality Center 集成 。 

4) Watir( 开 源 ，http://watir.com) 

Watir 是 基于 Ruby 库 的 Web 自动 化 开源 测试 工具 ， 支 持 包 括 Firefox、Opera 和 正在 内 的 
跨 浏览 器 测试 ， 同 时 支持 数据 驱动 的 测试 。 

5) IBM RFT( 商 业 ，https://www.ibm.com) 

IBM RFT 是 功能 和 回归 测试 的 数据 驱动 测试 平台 ， 支 持 广泛 的 应 用 程序 ， 如 .NET、Java、 
SAP、Flex 和 Ajax。RFT 使 用 VB.NET 和 Java 作为 脚本 语言 ， 具 有 称 为 Storyboard 测试 的 独特 
功能 ， 能 够 与 Rational Team Concert 和 Rational Quality Manager 很 好 地 集成 。 

6) TestComplete( 商 业 ，https:/smartbear.com) 

SmartBear 公司 的 TestComplete 用 于 Web、 移 动 和 桌面 测试 ， 支 持 各 种 脚本 语言 ， 支 持 关 
键 字 驱 动 和 数据 驱动 的 测试 。TestComplete 的 GUI 对 象 识别 功能 可 以 自动 检测 和 更 新 UI 对 象 ， 
能 够 有 效 地 减少 维护 测试 脚本 的 工作 量 。 

7) TestPlant eggPlant( 商 业 ，https://www.testplant.com) 

TestPlant eggPlant 是 基于 图 像 的 自动 化 功能 测试 工具 , 支持 Web、 移动 和 POS 等 各 种 平台 。 
与 传统 测试 工具 完全 不 同 的 是 ，TestPlant eggPlant 从 用 户 的 角度 建 模 ， 而 不 是 测试 人 员 常 用 的 
测试 脚本 视图 ， 因 此 使 编程 技能 较 弱 的 测试 人 员 能 够 直观 地 学 习 和 应 用 该 工具 。 

8) Tricentis Tosca( 商 业 ，https://www .tricentis.com) 

Tricentis Tosca 是 基于 模型 的 自动 化 测试 工具 , 为 持续 测试 提供 了 相当 广泛 的 功能 集 , 支持 
敏捷 和 DevOps 方法 ， 支 持 各 种 技术 和 应 用 程序 ， 如 Web、 移 动 和 API， 同 时 还 具有 集成 管理 、 
风险 分 析 和 分 布 式 执行 的 功能 。 

9) Ranorex( 了 商业 ，https://www.ranorex.com) 

Ranorex 用 于 Web、 移 动 和 桌面 测试 ， 支 持 与 Selenium 集成 以 进行 Web 程序 测试 。 测试 人 
员 可 以 使 用 Selenium Grid 跨 平台 和 浏览 器 分 发 他 们 的 测试 执行 情况 。 

10) Robot Framework( 开 源 ，http://www.robotframework.org) 

Robot Framework 实现 了 验收 测试 驱动 开发 (ATDD) 的 关键 字 驱 动 方 法 , 不 仅 可 以 用 于 Web 
测试 , 还 可 以 用 于 Android 和 iOS 自动 化 测试 。 通过 使 用 Python 和 Java 实现 附加 测试 库 , 可 以 
进一步 扩展 其 测试 功能 。 


8.3.3 ”如 何 选择 测试 工具 


选择 测试 工具 并 没有 一 定 规则 ， 但 是 以 下 因素 应 当 予 以 考虑 。 

(1) 根据 具体 测试 需求 比较 工具 的 功能 、 价 格 和 服务 。 首 先 确定 使 用 测试 工具 要 完成 白 盒 
测试 、 功 能 测试 、 性 能 测试 还 是 测试 管理 ， 然 后 比较 测试 工具 的 功能 是 否 适用 ， 避 免 在 功能 上 
贪 多 求全 ， 能 够 解决 问题 和 适用 才 是 根本 ; 同时 需要 考虑 产品 的 服务 质量 ， 尤 其 是 技术 支持 是 
否 全 面 ; 价格 方面 可 以 先 考虑 免费 开源 的 测试 工具 是 否 满足 要 求 ， 然 后 再 考虑 商业 测试 工具 。 

(2) 考虑 引入 测试 工具 的 连续 性 和 一 致 性 。 要 构建 完整 的 自动 化 测试 体系 需要 多 种 测试 工 
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具 的 配合 使 用 ， 并 且 需 要 考虑 测试 工具 与 软件 过 程 管理 工具 、 软 件 开发 工具 和 软件 集成 工具 的 
配合 程度 。 因 此 ， 测 试 工具 的 选择 要 通盘 考虑 ， 从 易 到 难 分 阶段 逐步 引入 与 实施 。 可 以 先 使 用 
免费 的 缺陷 管理 工具 (如 Bugzilla) 对 软件 缺陷 进行 跟踪 与 控制 , 使 开发 和 测试 人 员 熟 悉 和 适应 测 
试管 理 流程 ; 然后 选择 LoadRunner 或 JMeter 进行 性 能 测试 ; 之 后 再 选择 Selenium 或 UFT 尝试 
进行 功能 测试 ， 最 后 选择 JUnit、Logiscope 等 加 强 白 盒 测 试 ， 并 且 通 过 Hudson、Jenkins、SVN 
等 建立 持续 集成 和 版 本 控制 平台 。 

G) 分 析 测 试 工具 对 各 种 操作 系统 平台 的 兼容 性 。 根 据 软件 企业 具体 情况 ， 考 查 测试 工具 
对 不 同 开发 平台 和 操作 系统 的 兼容 性 ， 尽 可 能 满足 兼容 性 方面 的 要 求 。 

(4) 评估 测试 工具 与 其 他 相关 软件 产品 的 集成 能 力 。 这 里 的 集成 能 力 包括 测试 工具 之 间 、 
测试 工具 与 开发 工具 之 间 ， 以 及 与 软件 研发 过 程 中 涉及 的 其 他 工具 之 间 的 集成 能 力 。 

(5) 考查 测试 工具 是 否 有 强大 的 报表 统计 功能 。 测 试 工具 的 一 大 优势 就 是 能 够 对 纷繁 复杂 
的 测试 结果 数据 进行 统计 分 析 ， 并 且 以 专业 的 图 表 形式 给 出 统计 分 析 结 果 。 因 此 ， 应 当 尽 可 能 
选择 具备 丰富 报表 统计 功能 的 测试 工具 。 


一 家 软件 企业 在 从 无 到 有 逐步 引入 自动 化 测试 技术 的 过 程 中 会 面临 许多 问题 ， 单 纯 使 用 测 
试 工具 并 不 意味 着 就 能 够 成 功 实施 软件 的 自动 化 测试 。 自 动 化 测试 需要 软件 开发 过 程 、 测 试 流 
程 、 配 置 管理 等 方面 相互 配合 ， 涉 及 组 织 结构 上 的 调整 与 改进 。 在 引入 自动 化 测试 前 ， 需 要 根 
据 企业 具体 情况 做 出 合理 性 和 必要 性 评估 。 


8.4.1 引入 过 程 中 存在 的 问题 


自动 化 测试 的 引入 不 仅 是 测试 工具 和 相关 测试 技术 的 问题 ， 还 涉及 整个 软件 开发 和 测试 过 
程 的 重新 整合 ， 从 根本 上 讲 是 软件 企业 组 织 和 文化 的 问题 。 遗 憾 的 是 ， 真 正 能 把 自动 化 测试 融 
合 进 软件 研发 体系 里 的 软件 企业 并 不 是 太 多 ， 很 多 企业 在 实施 自动 化 测试 的 过 程 中 存在 许多 误 
区 ， 面 临 诸多 问题 ， 导 致 实施 效果 不 佳 甚至 失败 。 
1) 盲目 迷信 自动 化 测试 
认为 只 要 采用 先进 的 测试 工具 就 可 以 自然 而 然 地 提高 测试 效率 与 质量 ， 解 决 测试 工作 中 的 
一 切 问题 。 产 生 这 一 误区 的 主要 原因 是 缺乏 正确 的 软件 测试 自动 化 观念 。 虽 然 自 动 化 测试 能 
带 来 非常 明显 的 收益 ， 但 是 也 具有 以 下 局 限 性 。 
e 自动 化 测试 只 是 测试 工作 的 一 部 分 ， 不 可 能 完全 蔡 代 手工 测试 。 自 动 化 测试 只 能 发 现 
15%~30% 的 软件 缺陷 ， 而 70%~85% 的 缺陷 都 是 通过 手工 测试 发 现 的 。 
e ”自动 化 测试 和 手工 测试 都 有 适用 的 测试 对 象 和 范围 ， 需 要 相互 配合 才能 完成 好 测试 工 
作 ， 目 前 诸如 文档 测试 、 界 面 测试 等 测试 任务 还 主要 依赖 手工 测试 。 
。 测试 工具 本 身 并 不 具有 创造 性 ， 无 法 像 测 试 人 员 那 样 主动 和 深入 地 探寻 软件 缺陷 ， 使 
用 目的 更 多 的 是 蔡 代 重复 性 的 测试 执行 工作 。 
e 手工 测试 便于 处 理 很 多 异常 情况 。 虽 然 测试 工具 也 能 处 理 部 分 异常 事件 ， 但 是 对 于 真 
正 的 突 发 事件 和 不 能 由 软件 解决 的 问题 就 显得 无 能 为 力 了 。 
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。 测试 工具 的 使 用 并 不 能 发 现 大 量 的 新 缺陷 ， 第 一 次 运行 之 后 发 现 新 缺陷 的 可 能 性 就 小 
多 了 。 手 工 测 试 比 自 动 化 测试 发 现 的 缺陷 更 多 。 

e 如 果 通 过 自动 化 测试 没有 发 现任 何 缺 陷 ， 并 不 意味 着 软件 就 没有 缺陷 ， 可 能 是 测试 设 
计 本 身 出 现 问题 ， 例 如 测试 覆盖 率 没 有 达到 规定 的 百分比 。 

e 商业 化 的 软件 测试 工具 是 通用 的 ， 而 软件 企业 面 对 的 测试 问题 千差万别 ， 并 且 一 个 软 
件 测试 项 目 往往 需要 混合 使 用 多 种 测试 工具 。 因 此 ， 采 用 自动 化 测试 会 面临 测试 工具 、 
被 测 软 件 和 测试 环境 的 互 操作 性 问题 。 开 发 和 测试 技术 环境 的 不 断 更 新 变化 会 进一步 
加 剧 应 用 自动 化 测试 的 复杂 性 ， 影 响 到 推广 自动 化 测试 的 实际 效果 。 

e 自动 化 测试 会 带 来 开发 和 维护 成 本 的 提高 ， 尤 其 是 在 软件 企业 初次 引入 自动 化 测试 时 
更 为 明显 。 

因此 ， 测 试 效率 和 质量 的 提升 是 一 项 系统 工程 。 缺 乏 手 工 测 试 的 配合 ， 没 有 全 面 和 系统 的 

测试 计划 与 测试 用 例 设计 作为 保障 ， 即 使 软件 中 存在 缺陷 测试 工具 也 难以 发 现 。 

2) 片面 追求 全 面 的 自动 化 测试 
自动 化 测试 主要 关注 的 是 通过 测试 工具 自动 地 执行 测试 任务 ， 而 测试 的 全 面 自动 化 意味 着 

所 有 可 以 自动 完成 的 测试 任务 都 通过 测试 工具 或 程序 来 自动 执行 。 事 实 上 ， 全 面 的 测试 自动 化 

目前 还 仅仅 是 理想 目标 ，100% 的 测试 自动 化 不 仅 需 要 高 昂 的 成 本 ， 而 且 在 现 阶段 还 难以 实现 。 

在 软件 企业 中 能 达到 40% 一 6096 的 自动 化 测试 就 已 经 是 很 高 的 比例 了 ， 如 果 过 于 追求 全 面 的 自 

动 化 测试 反而 会 增加 不 必要 的 成 本 。 

3) 盲目 引入 测试 工具 
软件 企业 各 有 特点 ， 测 试 工具 自身 的 特点 和 适用 性 也 各 不 相同 ， 所 以 并 不 是 任何 测试 工具 

都 能 适应 所 有 企业 的 要 求 。 软 件 测试 自动 化 并 不 是 简单 的 测试 工具 录制 与 回放 过 程 ， 测 试 工具 

之 间 以 及 测试 工具 与 开发 环境 之 间 存在 着 如 何 有 机 配合 的 问题 。 因 此 ， 软 件 测试 自动 化 的 引入 

与 成 功 实施 存在 着 一 定 的 条 件 限制 , 必须 在 综合 考量 与 评估 之 后 才能 合理 选择 测试 工具 。 同 时 ， 

真正 发 挥 测试 工具 的 功效 还 依赖 于 良好 的 应 用 环境 ， 需 要 改进 测试 流程 和 管理 机 制 以 适应 新 的 

测试 工具 的 应 用 。 

4) 忽视 测试 脚本 的 质量 问题 
测试 工具 主要 通过 测试 脚本 完成 自动 化 测试 ， 测 试 脚本 本 身 就 是 程序 ， 因 此 需要 首先 保证 

测试 脚本 本 身 的 质量 。 实 际 工作 中 通常 不 会 对 测试 脚本 再 做 大 规模 的 测试 ， 所 以 测试 脚本 的 质 

量 往往 依赖 于 自动 化 测试 工程 师 的 业务 水 平 、 经 验 和 工作 态度 。 如 果 测 试 工程 师 不 能 根据 测试 

计划 生成 高 质量 的 测试 脚本 ， 测 试 工具 也 不 具备 有 效 的 机 制 来 保证 测试 脚本 的 质量 ， 那 么 自动 

化 测试 结果 的 正确 性 和 有 效 性 就 无 法 得 到 保障 。 

5) 缺乏 专业 的 测试 人 员 
专业 的 测试 工具 和 软 硬 件 测试 环境 配置 固然 是 成 功 完成 自动 化 测试 的 必要 条 件 ， 但 是 掌握 
良好 测试 技术 、 具 有 丰富 测试 经 验 的 测试 人 员 才 是 决定 性 因素 。 软 件 测试 自动 化 并 不 只 是 简单 

地 使 用 测试 工具 ， 关 键 在 于 测试 流程 的 建立 、 测 试用 例 的 设计 、 测 试 脚本 的 编写 ， 这 就 要 求 测 

试 人 员 既 要 熟悉 软件 产品 的 特性 、 应 用 领域 、 测 试 流程 ， 又 要 具备 良好 的 测试 技术 和 编程 技术 。 
为 了 适应 自动 化 测试 ， 必 须 长 期 、 有 计划 地 加 强 测试 人 员 的 业务 培训 ， 使 测试 人 员 在 深度 

和 广度 上 真正 掌握 测试 工具 ， 提 高 测试 工具 的 使 用 效果 ， 只 有 这 样 才能 在 实际 应 用 中 体现 自动 

化 测试 的 优势 。 
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6) 没有 考虑 自动 化 测试 的 开发 和 维护 成 本 

自动 化 测试 在 提高 测试 效率 的 同时 也 会 造成 测试 开发 和 维护 成 本 的 提高 。 

在 软件 企业 第 一 次 引入 自动 化 测试 时 , 需要 大 量 的 人 力 资源 和 时 间 来 开发 自动 化 测试 脚本 ， 
开发 阶段 的 成 本 相 比 于 手工 测试 反而 会 增加 。 由 于 推行 自动 化 测试 的 前 期 工作 相当 庞杂 ， 因 此 
将 自动 化 测试 应 用 到 测试 项 目 之 前 要 评估 适用 性 ， 避 免 测 试 项 目 被 大 量 的 自动 化 测试 准备 和 实 
施工 作 拖 垮 。 

如 果 在 单元 测试 中 采用 自动 化 测试 方法 ， 开 发 人 员 经 常会 比较 抗拒 。 因 为 单元 测试 脚本 的 
编写 主要 由 开发 人 员 完 成 ， 无 形 中 加 大 开发 人 员 的 工作 量 ， 在 开发 周期 紧张 的 情况 下 这 一 矛盾 
会 更 加 突出 。 软 件 企业 管理 者 在 初次 引入 自动 化 测试 时 必须 考虑 上 述 情况 ， 在 开发 和 测试 流程 
中 明确 要 求 使 用 特定 的 测试 工具 ， 例 如 明确 要 求 通过 Logiscope 生成 代码 质量 分 析 报 告 ， 通 过 
DevPartner 生成 代码 覆盖 率 报告 。 开 发 功能 和 性 能 测试 脚本 也 同样 需要 成 本 ， 因 此 引入 自动 化 
测试 前 一 定 要 进行 成 本 分 析 ， 准 备 好 必需 的 开发 与 测试 资源 。 

软件 测试 自动 化 所 需要 的 测试 脚本 维护 工作 量 很 大 ， 当 修改 软件 后 ， 相 应 的 测试 脚本 通常 
也 需要 进行 一 致 性 修改 。 也 就 是 说 ， 测 试 自动 化 和 软件 产品 本 身 是 不 能 分 离 的 ， 需 要 保证 测试 
脚本 可 以 重复 使 用 。 脚本 本 身 也 是 代码 , 同样 需要 通过 CVS、SVN 等 进行 版 本 管理 和 变更 控制 ， 
会 带 来 一 定 的 维护 成 本 。 因 此 ， 在 实施 自动 化 测试 时 ， 要 防止 自动 化 测试 的 效率 和 准确 性 优势 
被 测试 开发 和 维护 成 本 所 淹没 。 


8.4.2 ”自动 化 测试 的 引入 风险 分 析 


软件 企业 在 引入 自动 化 测试 前 , 需要 根据 自身 情况 进行 充分 的 风险 分 析 并 制定 相应 的 对 策 ， 
保证 自动 化 测试 的 成 功 实施 。 可 以 参考 以 下 几 个 方面 进行 引入 风险 分 析 。 

1) 成 本 风险 

自动 化 测试 的 成 本 包括 测试 人 员 、 测 试 工具 、 硬 件 设备 以 及 测试 准备 、 开 发 、 执 行 和 维护 
费用 等 。 即 使 软件 企业 已 经 具备 实施 自动 化 测试 的 条 件 ， 也 不 要 盲目 地 进行 自动 化 测试 ， 需 要 
合理 规划 成 本 费用 ， 制 定 成 本 预算 ， 并 且 在 自动 化 测试 的 过 程 中 进行 及 时 调整 与 控制 。 

软件 自动 化 测试 的 前 期 投入 相 比 手工 测试 要 大 得 多 ， 需 要 购买 非常 昂贵 的 软件 测试 工具 ， 
扩充 硬件 测试 设备 ， 进 行 系统 性 的 人 员 培 训 。 除 了 上 述 准备 成 本 之 外 ， 还 要 估算 测试 脚本 开发 
与 维护 的 成 本 。 需 要 招聘 或 抽调 专门 的 测试 人 员 完 成 测试 脚本 的 开发 与 维护 ， 并 且 要 保证 完成 
正常 手工 测试 所 需要 的 人 力 资 源 不 受到 影响 。 

2) 切入 点 的 风险 

自动 化 测试 的 引入 应 当 由 简 到 难 、 由 点 到 面 ， 需 要 根据 软件 企业 自身 产品 的 特点 找 准 实施 
自动 化 测试 的 切入 点 ， 否 则 会 造成 自动 化 测试 的 作用 无 法 体现 ， 严 重 时 甚至 造成 引入 自动 化 测 
试 的 尝试 失败 ， 使 得 实施 自动 化 测试 的 信心 受到 严重 打击 。 

从 点 上 讲 ， 可 以 先 从 验证 简单 模块 功能 开始 。 从 面 上 讲 ， 可 以 从 白 盒 测试 、 功 能 测试 或 性 
能 测试 中 的 某 一 种 开始 尝试 进行 自动 化 测试 。 例 如 ， 对 于 普通 的 单机 版 软件 ， 应 当 从 自动 化 的 
功能 测试 开始 , 不 必 先 考虑 自动 化 的 性 能 测试 : 对 于 界面 简单 但 用 户 众多 的 网 络 软件 (如 搜索 引 
擎 )， 应当 从 自动 化 的 性 能 测试 开始 ; 对 于 频繁 升级 和 在 线 自动 更 新 的 软件 ， 应 当 从 自动 化 的 集 
成 测试 开始 。 
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3) 切入 方式 的 风险 

在 引入 自动 化 测试 时 不 能 贪 多 求全 ， 需 要 综合 应 用 自动 化 测试 与 手工 测试 ， 对 自动 化 测试 
在 整个 测试 活动 中 的 比例 进行 合理 规划 。 自 动 化 测试 的 应 用 率 在 初期 引入 时 不 应 当 超 过 20%， 
当 实 施 成 功 后 ， 再 逐步 提高 应 用 率 。 初 期 引入 自动 化 测试 时 ， 测 试 项 目 需 要 已 经 制定 出 完备 的 
测试 计划 ， 尤 其 要 已 经 制定 出 详细 的 测试 策略 ， 根 据 测 试 策略 决定 哪些 测试 内 容 可 以 通过 自动 
化 测试 完成 。 对 于 测试 目标 仍然 不 清晰 、 被 测 软件 复杂 度 较 高 的 情况 ， 建 议 仍然 采用 传统 的 手 
工 测试 方式 以 充分 发 挥 测试 人 员 的 经 验 。 

4) 时 间 风 险 

测试 项 目 需要 预 留 较为 宽松 的 测试 时 间 以 应 对 首次 实施 自动 化 测试 所 带 来 的 冲击 。 需 要 合 
理 估计 实施 自动 化 测试 所 需要 的 时 间 ， 避 免 仓促 实施 影响 测试 效果 。 虽 然 通过 自动 化 测试 可 以 
提高 测试 效率 ， 节 约 重复 回归 测试 的 时 间 ， 但 是 在 自动 化 测试 步 入 正轨 之 前 ， 往 往 需 要 较 大 的 
时 间 投 入 。 因 此 ， 必 须 正视 引入 自动 化 测试 所 带 来 的 时 间 风 险 ， 明 确 具体 实施 计划 ， 估 算 自动 
化 测试 准备 、 开 发 、 实 施 和 维护 所 需 时 间 。 同 时 ， 还 需要 考虑 将 自动 化 测试 纳入 整个 软件 开发 
体系 后 ， 测 试 和 开发 各 个 环节 所 需要 的 磨合 时 间 。 

5) 开发 和 测试 流程 以 及 设计 变更 的 风险 

在 实施 自动 化 测试 后 ， 测 试 团队 甚至 整个 开发 组 织 为 了 适应 测试 工具 的 应 用 ， 原 有 开发 和 
测试 工作 流程 或 多 或 少 会 发 生 改 变 , 测试 用 例 设计 方法 乃至 软件 设计 也 会 有 相应 的 变化 。 因此 ， 
需要 分 析 流 程 和 设计 变更 的 程度 ， 尽 可 能 克服 变更 中 可 能 存在 的 困难 。 


8.4.3 适合 引入 自动 化 测试 的 软件 项 目 


当 软 件 项 目 具有 以 下 特征 时 ， 比 较 适合 引入 自动 化 测试 。 

1) 程序 已 经 基本 稳定 ， 不 会 再 发 生 频繁 变动 

自动 化 测试 的 主要 局 限 性 是 测试 脚本 的 维护 成 本 很 高 ,尤其 是 当 软 件 版 本 频繁 变化 的 时 候 。 
频繁 的 需求 变更 、 设 计 变 更 以 及 缺乏 明确 的 测试 任务 都 会 造成 测试 脚本 维护 成 本 的 大 幅 提 高 。 
脚本 维护 本 身 就 是 代码 开发 过 程 ， 如 果 成 本 过 高 ， 就 失去 了 自动 化 测试 的 意义 。 适 当 的 做 法 是 
先 对 稳定 的 功能 或 模块 进行 自动 化 测试 ， 对 仍然 处 于 频繁 变化 中 的 功能 和 模块 暂时 维持 手工 测 
试 的 方式 。 

2) 用 户 界面 稳定 

自动 化 的 功能 测试 主要 采用 录制 用 户 界 面 操 作 、 生 成 脚本 、 修 改 脚本 、 生 成 测试 用 例 、 自 
动 回 放 和 运行 脚本 的 方式 进行 自动 化 测试 ， 频 繁 更 新 的 用 户 界面 会 造成 已 有 测试 用 例 被 大 量 修 
改 甚至 废弃 。 

3) 项 目的 进度 压力 不 大 

前 面 已 经 对 引入 自动 化 测试 的 时 间 风 险 分 析 进 行 了 说 明 。 自 动 化 测试 框架 的 选择 与 设计 、 
测试 脚本 的 开发 与 调试 都 需要 大 量 时 间 ， 本 身 就 是 软件 开发 过 程 。 较 为 宽松 的 项 目 时 间 进度 有 
利于 保证 初期 引入 自动 化 测试 所 需要 的 时 间 ， 消 化 由 此 带 来 的 一 系列 问题 。 

4) 测试 脚本 的 可 重用 性 比较 高 

自动 化 测试 需要 很 大 的 投入 ， 测 试 脚本 的 重用 性 高 才能 使 得 这 种 投入 有 价值 。 需 要 考虑 后 
续 软 件 项 目 与 当前 项 目 是 否 存在 较 大 的 差异 ,例如 当前 项 目 是 C/S 架构 而 后 续 项 目 是 B/S 架构 ， 
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那么 两 者 的 差异 就 很 大 ， 测 试 脚本 就 无 法 重用 。 此 外 ， 还 需要 考虑 测试 工具 是 否 能 够 适应 可 能 
出 现 的 项 目 差异 。 

5) 回归 测试 的 频率 高 、 数 量 多 

自动 化 测试 最 为 突出 的 优势 是 便于 处 理 回 归 测 试 ， 将 测试 人 员 从 重复 性 的 回归 测试 中 解放 
出 来 。 当 回归 测试 的 频率 较 高 时 ， 自 动 化 测试 可 以 有 效 提 高 测试 效率 。 同 理 ， 当 软件 的 维护 周 
期 比较 长 时 ， 回 归 测试 的 总 体 数量 比较 多 ， 自 动 化 测试 的 前 期 开发 投入 能 有 效 降 低 维护 成 本 。 

6) 软件 产品 有 较 高 的 性 能 要 求 

一 些 互联 网 类 的 软件 产品 经 常 需要 模拟 大 量 的 并 发 用 户 来 测试 软件 的 性 能 ， 这 种 情况 下 必 
须 借助 性 能 测试 工具 进行 自动 化 测试 ， 并 且 生 成 定量 化 的 测试 与 分 析 结果 。 

7) 组 合 遍历 型 的 测试 

多 种 测试 输入 条 件 组 合 后 的 数量 经 常会 比较 庞大 ， 有 时 需要 按照 一 定 的 规则 遍历 程序 的 主 
要 执行 路 径 。 测 试 工具 擅长 处 理 此 类 情况 , 可 以 通过 开发 相应 的 测试 脚本 或 程序 完成 自动 测试 ， 
也 使 于 对 上 述 情况 进行 重复 测试 。 

8) 持续 集成 测试 

基于 敏捷 开发 的 软件 项 目 经 常 要 求 持续 集成 ， 每 天 都 及 时 构建 新 的 软件 版 本 并 进行 测试 以 
尽早 发 现 设计 或 集成 缺陷 。 这 种 高 频率 的 集成 测试 工作 必须 采用 测试 工具 自动 完成 。 

9) 测试 流程 和 测试 用 例 设计 规范 

不 论 是 手工 测试 还 是 自动 化 测试 ， 规 范 的 测试 流程 和 高 质量 的 测试 用 例 (测试 脚本 ) 都 是 最 
基本 的 保障 ， 向 混乱 的 测试 流程 中 引入 自动 化 测试 只 能 更 增加 混乱 度 。 

10) 资源 充足 

这 里 的 资源 包括 具有 较 强 编程 能 力 的 测试 人 员 以 及 必 备 的 软 硬 件 资源 。 


EF 到 思考 题 


. 什么 是 自动 化 测试 ? 自动 化 测试 主要 有 哪些 优势 ? 

. 自动 化 测试 是 否 能 够 完全 代替 手工 测试 ? 

. 将 测试 步骤 录制 为 脚本 是 否 就 完成 了 自动 化 测试 用 例 呢 ? 

- 测试 工具 是 否 都 需要 运行 程序 才能 完成 测试 ? 

. 利用 测试 工具 进行 代码 分 析 时 一 般 会 用 到 哪些 常用 规则 ? 

都 有 哪些 自动 化 测试 脚本 类 型 ? 每 一 种 脚本 类 型 的 特点 是 什么 ? 
- 简 述 数据 驱动 脚本 和 关键 字 驱 动 脚本 的 优点 。 

. 分 类 说 明 你 所 了 解 的 几 种 主流 商业 测试 工具 和 开源 测试 工具 。 
. 软件 企业 引入 测试 工具 时 需要 注意 哪些 问题 ? 


Ee 
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附录 A 
常用 软件 测试 术语 中 英文 对 昭 


A 


Acceptance Testing 验收 测试 
Acceptance Criteria 验收 准则 
Active or Open 激活 状态 
Alpha Testing a 测试 
Anomaly 异常 

Assertion Checking 断言 检查 
Audit 审核 

Automated Testing 自动 化 测试 
Availability 可 用 性 


B 


Baseline 基线 

Benchmark 基准 指标 

Beta Testing B 测试 

Black-Box Testing 黑 盒 测 试 
Bottom-up Integration 自 底 向 上 集成 
Boundry Value Analysis 边界 值 分 析 法 
Branch Coverage 分 支 履 盖 

Breadth Testing 广度 测试 

Bug 软件 缺陷 

Bug Fix 缺陷 修正 

Bug Report 缺陷 报告 

Bug Tracking 缺陷 跟踪 

Build Verification Test 版 本 验证 测试 


软件 测试 靶 术 


C 


Cause-effect Graph 因果 图 

Capacity Test 容量 测试 

Certification 验证 

Close or Inactive 关闭 或 非 激活 状态 

Code Coverage 代码 覆盖 

Code Review 代码 评审 

Code Walkthrough 代码 走读 

Compatibility Testing 兼容 性 测试 

Component Testing 组 件 测试 

Condition Coverage 条 件 履 盖 

Condition Combination Coverage 条 件 组 合 履 盖 
Configuration Testing 配置 测试 

Conformance Testing 一 致 性 测试 

Control Flow Graph 控制 流 图 

Continual Improvement 持续 改进 
COTS(Commercial Off-The-Shelf software) 现货 软件 
Crash 崩 演 

Critical Bug 严重 缺陷 

Cyclomatic Complexity 环 路 复杂 度 


D 


Data Flow Testing 数据 流 测试 
Data Driven Testing 数据 驱动 测试 
Decision Condition Coverage 判定 条 件 覆 盖 
Decision Coverage 判定 覆盖 
Decision Table 判定 表 

Defect Density 缺陷 密度 

Defect Tracking 缺陷 跟踪 
Delivery 交付 

Deployment 部 署 

Depth Testing 深度 测试 

Dirty Testing 负面 测试 

Disaster Recovery 灾难 恢复 
Documentation Testing 文档 测试 
Driver 驱动 模块 

Dynamic Testing 动态 测试 
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避 


Equivalence Class 等 价 类 

Equivalence Partitioning 等 价 类 划分 法 
Error Guessing 错误 推测 

Exception 异常 /例外 

Exhaustive Testing 穷尽 测试 

Expected Outcome 预期 结果 


F 


Failure 失效 

Fatal Bug 致命 的 缺陷 

Fault 故障 

Fault Injection 错误 注入 
Feasible Path 可 达 路 径 
Feature Testing 产品 特性 测试 
Field Testing 现场 测试 

Fix or Resolved 已 修正 状态 
Function Testing 功能 测试 


G 


Glass-Box Testing 白 盒 测 试 
Gray-Box Testing 灰 盒 测试 


Incremental Testing 渐 增 测试 
Infeasible Path 不 可 达 路 径 
JInspection 代码 检查 

Installation Testing 安装 测试 
Integration Testing 集成 测试 
Interface Testing 接口 测试 
Interoperability Testing 互联 测试 
Invalid Equivalence Class 无 效 等 价 类 
Isolation Testing 隔离 测试 


K 
Keyword Driven Script 关键 字 驱 动 脚本 
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LE 


Load Testing 负载 测试 
Localization Testing 本 地 化 测试 
Logic-Coverage Testing 逻辑 覆盖 测试 


M 


Maintainability Testing 可 维护 性 测试 
Major Bug 一 般 的 缺陷 

Migration Testing 迁移 测试 

Minor Bug 微小 的 缺陷 

Module Testing 模块 测试 

Monkey Testing 跳跃 式 测试 


N 


N/A(Not Applicable) 不 适用 的 
Negative Testing 负面 测试 
Non-functional Requirement 非 功 能 需求 


O 


Operational Testing 可 操作 性 测试 
Orthogonal Testing 正 交 测试 


Pp 


Path Coverage 路 径 覆 盖 

Peer Review 同行 评审 

了 Performance Indicator 性 能 指标 
Performance Testing 性 能 测试 
Pilot Testing 引导 测试 
Portability Testing 可 移植 性 测试 
Positive Testing 正面 测试 
Priority 优先 级 

Pseudo Code 伪 码 


Q 


QA(Quality Assurance) 质量 保证 
QC(Quality Control) 质量 控制 
Quality Characteristic 质量 特性 
Quality Metric 质量 度量 
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R 


Random Testing 随机 测试 
Recovery Testing 恢复 测试 
Regression Testing 回归 测试 
Reliability Testing 可 靠 性 测试 
Reliability Assessment 可 靠 性 评估 
Review 技术 评审 
Risk Assessment 风险 评估 
Robustness 强健 性 

Retum of Investment 投资 回报 率 
Root Cause Analysis 根本 原因 分 析 


S 


Sanity Testing 健全 测试 

Scenario Testing 场景 测试 

Security Testing 安全 性 测试 

Service Ability Testing 服务 能 力 测试 
Severity 严重 性 

SLA(Service Level Agreement) 服务 级 约定 
Smoke Testing 冒 烟 测 试 

Software Life Cycle 软件 生命 周期 
Software Specification 软件 规格 说 明 书 
State Transition Testing 状态 转换 测试 
Statement Coverage 语句 覆盖 

Static Analysis 静态 分 析 

Static Testing 静态 测试 

Stress Testing 压力 测试 

Structural Testing 结构 化 测试 

Stub 桩 模块 

System Testing 系统 测试 


T 


TBD(To Be Determined) 待定 

Test Automation 测试 自动 化 

Test Case 测试 用 例 

Test Completion Criterion 测试 完成 标准 
Test Coverage 测试 覆盖 率 

Test Environment 测试 环境 
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Test Metrics 测试 度量 

Test Plan 测试 计划 

Test Procedure 测试 规程 

Test Records 测试 记录 

Test Report 测试 报告 

Test Scenario 测试 场景 

Test Script 测试 脚本 

Test Specification 测试 规格 说 明 书 
Test Strategy 测试 策略 

Test Suite 测试 套件 

Test Target 测试 目标 

Testability 可 测试 性 

Testing Bed 测试 平台 

Tolerance Test 容错 测试 
Top-down Integration 自 顶 向 下 集成 
Traceability 可 跟踪 性 

Trade-off 平衡 


U 


UITesting 界面 测试 

Unit Testing 单元 测试 
Usability Testing 易 用 性 测试 
User Profile 用 户 信息 

User Scenario 用 户 场景 


V 


Valid Equivalence Class 有 效 等 价 类 
V&V(Verification & Validation) 验证 和 确认 


W 


White-Box Testing 白 盒 测 试 
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附录 B 


软件 工程 国家 标准 目录 


序号 标准 名 称 

计算 机 软件 需求 规格 说 明 规范 

计算 机 软件 测试 文档 编制 规范 
计算 机 软件 测试 规范 

信息 技术 软件 生命 周期 过 程 

2007 软件 工程 “测量 过 程 

信息 技术 “软件 生命 周期 过 程 ” 风 险 管理 

计算 机 软件 文档 编制 规范 

软件 工程 术语 

软件 工程 ”产品 质量 “第 1 部 分 ， 质 量 模型 

10 软件 工程 ”产品 质量 “第 2 部 分 ， 外 部 度量 

11 软件 工程 _ 产 品质 量 第 3 部 分 :内 部 度量 

12 软件 工程 ”产品 质量 “第 4 部 分 ， 使 用 质量 的 度量 
13 软件 工程 ”软件 生命 周期 过 程 ” 用 于 项 目 管理 的 指南 
14 软件 工程 软件 维护 

15 信息 技术 “软件 生命 周期 过 程 ” 配 置 管理 

16 软件 工程 产品 评价 第 1 部 分 ， 概述 

17 软件 工程 产品 评价 ”第 2 部 分 ， 策划 和 管理 


18 软件 工程 _ 产 品评 价 第 3 部 分 ， 开 发 者 用 的 过 程 


wml lo lm ss |- 


19 GB/T18905.4 软件 工程 ”产品 评价 ”第 4 部 分 : 需 方 用 的 过 程 

20 GB/T18905.5 软件 工程 产品 评价 ”第 5 部 分 : 评价 者 用 的 过 程 

人 GB/T18905.6 软件 工程 产品 评价 ”第 6 部 分 : 评价 模块 的 文档 编制 

22 GB/Z18914 信息 技术 软件 工程 CASE 工具 的 采用 指南 

23 GB/T18491.1 信息 技术 ”软件 测量 _ 功 能 规模 测量 第 1 部 分 ;概念 定义 
24 GB/T18492 信息 技术 ”系统 及 软件 完整 性 级 别 

25 GB/Z18493 信息 技术 软件 生命 周期 过 程 指 南 

26 GB/T18234 信息 技术 CASE 工具 的 评价 与 选择 指南 

27 信息 技术 软件 包 质量 要 求 和 测试 


28 GB/T16680 1996 软件 文档 管理 指南 
29 GBI/T15535 1995 信息 处 理 ” 单 命中 判定 表 规范 


软件 测试 技术 


( 续 表 ) 
序号 国家 标准 编号 标准 名 称 
30 GB/T14085 | 1993 信息 处 理 系统 “计算 机 系统 配置 图 符号 及 其 约定 
31 GB/T14394 | 1993 计算 机 软件 可 靠 性 和 维护 性 管理 
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GB/T 13502 


GB/T1526 


信息 处 理 _ 程 序 构造 及 其 表示 约定 
信息 处 理 数据 流程 图 、 程 序 流程 图 、 系 统 流程 图 、 程 序 网 络 图 和 
系统 资源 图 的 文件 编制 符号 及 约定 


附录 C 


软件 测试 计划 模板 


在 表 C-1 中 填写 文档 修订 历史 记录 。A- 添 加 ，M- 修 改 ，D- 删 除 。 
表 C-1 修订 历史 记录 


C.1.1 目的 


去 天启 各 瑚 > 的 “测试 计划 ”文档 有 助 于 实现 以 下 目标 : 
确定 现 有 项 目的 信息 和 应 测试 的 软件 构件 。 

列 出 推荐 的 测试 需求 (高 级 需求 )。 

推荐 可 采用 的 测试 策略 ， 并 对 这 些 策略 加 以 说 明 。 
确定 所 需 的 资源 ， 并 对 测试 的 工作 量 进行 估计 。 

列 出 测试 项 目的 可 交付 元 素 。 


C.1.2 背景 


对 测试 对 象 (构件 、 应 用 程序 、 系 统 等 ) 及 其 目标 进行 简要 说 明 。 需 要 包括 的 信息 有 : 主要 
的 功能 和 性 能 、 测 试 对 象 的 构架 以 及 项 目的 简 史 。 


C.1.3 范围 


描述 测试 的 各 个 阶段 (例如 ， 单 元 测试 、 集 成 测试 或 系统 测试 )， 并 说 明 本 测试 计划 所 针对 
的 测试 类 型 (如 功能 测试 或 性 能 测试 )。 简 要 地 列 出 测试 对 象 中 将 接受 测试 或 将 不 接受 测试 的 那 
些 性 能 和 功能 。 如 果 在 编写 此 文档 的 过 程 中 做 出 的 某 些 假设 可 能 会 影响 测试 的 设计 、 开 发 或 实 
施 ， 则 列 出 所 有 这 些 假设 。 列 出 可 能 会 影响 测试 的 设计 、 开 发 或 实施 的 所 有 风险 、 意 外 事件 和 
所 有 约束 。 
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测试 参考 文档 和 测试 提交 文档 


C.2.1 测试 参考 文档 
在 表 C-2 中 列 出 制定 测试 计划 时 使 用 的 文档 ， 并 标明 各 文档 的 可 用 性 。 


表 C-2 测试 参考 文档 
文档 (版 本 /日 期) 已 创建 或 可 用 已 被 接收 或 已 经 过 复审 。 | 作者 或 来 源 
可 行 性 分 析 报 告 是 口 否 口 是 否 口 
软件 需求 定义 是 口 开口 是 口 否 吕 
软件 系统 分 析 是 口 否 吕 是 口 否 吕 
软件 概要 设计 是 口 否 口 
软件 详细 设计 是 口 _ 否 口 
软件 测试 需求 是 口 _ 否 口 
硬件 可 行 性 分 析 报告 是 口 否 吕 
硬件 需求 定义 是 口 否 口 是 口 “ 否 吕 
硬件 概要 设计 是 口 “ 否 品 
硬件 原理 图 设计 是 口 “ 否 口 
硬件 结构 设计 (包含 PCB) 是 口 _ 否 口 
FPGA 设计 是 口 否 品 
硬件 测试 需求 是 口 否 吕 
PCB 设计 是 口 否 口 是 口 _ 否 口 
USB 驱动 设计 是 口 _ 否 口 
Tuner BSP 设计 是 口 否 口 是 口 否 
MCU 设计 是 口 否 口 是 口 否 
模块 开发 手册 是 口 否 
测试 时 间 表 及 人 员 安排 是 口 、 否 口 是 口 否 吕 
测试 计划 是 口 否 吕 
测试 方案 是 口 、 否 口 是 口 否 吕 
测试 报告 是 口 “ 否 口 是 口 否 吕 
测试 分 析 报告 是 口 否 吕 是 口 否 吕 
用 户 操作 手册 是 口 否 口 是 口 “ 否 口 
安装 指南 是 口 否 口 是 口 否 吕 


注 : 可 适当 地 删除 或 添加 文档 项 。 


C.2.2 ”测试 提交 文档 
下 面 应 当 列 出 在 测试 阶段 结束 后 ， 所 有 可 提交 的 文档 。 
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测试 进度 


在 表 C-3 中 列 出 主要 测试 活动 的 测试 进度 。 
表 C-3 ”测试 进度 
测试 活动 计划 开始 日 期 


实际 开始 日 期 结束 日 期 


制定 测试 计划 


设计 测试 


集成 测试 


系统 测试 


性 能 测试 


安装 测试 
用 户 验收 测试 


对 测试 进行 评估 


产品 发 布 


C.4.1 人 力 资 源 
在 表 C-4 中 列 出 在 项 目的 人 员 配 备 方面 所 做 的 各 种 假定 。 


表 C-4 测试 人 力 资源 


角色 所 推荐 的 最 少 资源 (所 分 配 的 专职 角色 数量 具体 职责 或 注释 
| | 


注 : 可 适当 地 删除 或 添加 角色 项 。 


C.4.2 ”测试 环境 
在 表 C-5 中 列 出 测试 的 系统 环境 。 
表 C-5 测试 的 系统 环境 


软件 环境 (相关 软件 、 操 作 系统 等 ) 


硬件 环境 (网 络 、 设 备 等 ) 
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C.4.3 测试 工具 
在 表 C-6 中 列 出 测试 使 用 的 工具 。 
表 C-6 测 滤 工具 
用 途 工具 生产 厂商 / 自 产 版 本 


[SS 系统 风险 、 优 先 级 


简要 描述 测试 阶段 的 风险 和 处 理 的 优先 级 。 


[可 测试 策略 


测试 策略 提供 对 测试 对 象 进行 测试 的 推荐 方法 。 对 于 每 种 测试 ， 都 应 提供 测试 说 明 ， 并 解 
释 实施 原因 。 制 定 测试 策略 时 要 考虑 的 主要 事项 有 : 将 要 使 用 的 技术 以 及 判断 测试 何 时 完成 的 
标准 。 下 面 列 出 在 进行 每 项 测试 时 需 考 虑 的 事项 ， 除 此 之 外 ， 测 试 还 只 应 在 安全 的 环境 中 使 用 
已 知 的 、 有 控制 的 数据 库 来 执行 。 

注意 : 如 果 不 实 施 某 种 测试 , 则 应 该 用 一 句 话 加 以 说 明 ，, 并 陈述 这 样 做 的 理由 。 例如 ， “将 
不 实施 该 测试 。 本 项 目 不 适用 该 测试 ”。 


C.6.1 数据 和 数据 库 完整 性 测试 
在 < 项 月 名 珍 > 中 ， 数 据 库 和 数据 库 进程 应 作为 子 系统 进行 测试 。 在 测试 这 些 子 系统 时 ， 


不 应 将 测试 对 象 的 用 
的 研究 ， 以 确定 表 C 


户 界面 用 作 数 据 的 接口 。 对 于 数据 库 管理 系统 (DBMS)， 还 需要 进行 深入 
-7 中 可 以 支持 的 测试 工具 和 技术 。 


表 C-7 支持 数据 库 测试 的 工具 和 技术 


测试 目标 : 确保 数据 库 访问 方法 和 进程 正常 运行 ， 数 据 不 会 遭 到 损坏 

测试 范围 : 
调用 各 个 数据 库 访问 方法 和 进程 ， 并 在 其 中 填充 有 效 的 和 无 效 的 数据 (或 对 数据 的 请 求 ) 

技术 : 检查 数据 库 ， 确 保 数 据 已 按 预 期 方式 填充 ， 并 且 所 有 的 数据 库 事件 已 正常 发 生 ; 或 
者 检查 所 返回 的 数据 ， 确 保 以 正当 的 理由 检索 到 正确 的 数据 

开始 标准 : 

完成 标准 : 所 有 的 数据 库 访问 方法 和 进程 都 按照 设计 的 方式 运行 ， 数 据 没 有 遭 到 损坏 
测试 可 能 需要 DBMS 开发 环境 或 驱动 程序 在 数据 库 中 直接 输入 或 修改 数据 

需要 考虑 的 特殊 事项 ， 进程 应 该 以 手工 方式 调用 
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应 使 用 小 型 或 最 小 的 数据 库 (记录 的 数量 有 限 ) 来 使 所 有 无 法 接受 的 事件 具有 更 大 的 
可 视 度 


附录 C ”软件 测试 计划 模板 


C.6.2 接口 测试 
在 表 C-8 中 列 出 与 接口 测试 有 关 的 主要 事项 。 


表 C-8 接口 测试 主要 事项 
测试 目标 : 确保 接口 调用 的 正确 性 
测试 范围 : 所 有 软件 、 硬 件 接口 ， 记 录 输 入 输出 数据 


接口 的 限制 条 件 


C.6.3 ”集成 测试 


集成 测试 的 主要 目的 是 检测 系统 是 否 达到 需求 ， 检 测 对 业务 流程 及 数据 流 的 处 理 是 否 符合 
标准 ， 检 测 系 统 对 业务 流 处 理 是 否 存在 逻辑 不 严谨 及 错误 ， 检 测 需 求 是 否 存 在 不 合理 的 标准 及 
要 求 。 此 阶段 测试 基于 功能 完成 的 测试 ， 在 C-9 中 列 出 与 集成 测试 有 关 的 主要 事项 。 


表 C-9 ”集成 测试 主要 事项 


测试 目标 : 检测 需求 中 业务 流程 、 数 据 流 的 正确 性 
测试 范围 : 需求 中 明确 的 业务 流程 ， 或 通过 组 合 不 同 功能 模块 而 形成 一 个 大 的 功能 
利用 有 效 和 无 效 的 数据 来 执行 用 例 、 用 例 流 或 功能 ， 以 核实 以 下 内 容 
技术 ; 在 使 用 有 效 数 据 时 得 到 预期 的 结果 
在 使 用 无 效 数据 时 显示 相应 的 错误 消息 或 警告 消息 


各 个 业务 规则 都 得 到 正确 的 应 用 

开始 标准 : 在 完成 某 个 集成 测试 时 必须 达到 标准 

完成 标准 : 所 计划 的 测试 已 全 部 执行 ， 所 发 现 的 缺陷 已 全 部 解决 

测试 重点 和 优先 级 : ee 
需要 考虑 的 特殊 事项 。 ee 
= 二 二 


C.6.4 功能 测试 


对 测试 对 象 的 功能 测试 应 侧重 于 所 有 可 直接 追踪 到 用 例 或 业务 功能 和 业务 规则 的 测试 需 
求 。 这 种 测试 的 目标 是 核实 数据 的 接收 、 处 理 和 检索 是 否 正 确 ， 以 及 业务 规则 的 实施 是 否 恰当 。 
此 类 测试 基于 黑 盒 技术 ,该 技术 通过 图 形 用 户 界面 (GUD 与 应 用 程序 进行 交互 ， 并 对 交互 的 输出 
或 结果 进行 分 析 , 以 此 核实 应 用 程序 及 其 内 部 进程 。 表 C-10 为 各 种 应 用 程序 列 出 推荐 使 用 的 测 
试 概要 。 
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表 C-10 ”功能 测试 概要 


测试 目标 : 确保 测试 的 功能 正常 ， 其 中 包括 导航 、 数 据 输入 、 处 理 和 检索 等 功能 
测试 范围 : 
利用 有 效 和 无 效 的 数据 来 执行 各 个 用 例 、 用 例 流 或 功能 ， 以 核实 以 下 内 容 : 
技术 : 在 使 用 有 效 数据 时 得 到 预期 的 结果 
在 使 用 无 效 数据 时 显示 相应 的 错误 消息 或 警告 消息 
各 个 业务 规则 都 得 到 正确 的 应 用 
开始 标准 : 
完成 标准 : 
测试 重点 和 优先 级 : 
需要 考虑 的 特殊 事项 ， 确定 或 说 明 那 些 将 对 功能 测试 的 实施 和 执行 造成 影响 的 事项 或 因素 (内 部 的 或 外 


C.6.5 ”用 户 界面 测试 


部 的 ) 


用 户 界面 (UD 测试 用 于 核实 用 户 与 软件 之 间 的 交互 。UI 测试 的 目标 是 确保 用 户 界面 会 通过 
测试 对 象 的 功能 来 为 用 户 提供 相应 的 访问 或 浏览 功能 。 另 外 ，UI 测试 还 可 确保 UI 中 的 对 象 按 
照 预期 的 方式 运行 ， 并 符合 公司 或 行业 的 标准 。 表 C-11 是 用 户 界 面 测试 概要 。 


测试 目标 : 


表 C-11 用 户 界面 测试 概要 
核实 以 下 内 容 : 
通过 测试 进行 的 浏览 可 正确 反映 业务 的 功能 和 需求 , 这 种 浏览 包括 窗口 与 窗口 
之 间 、 字 段 与 字段 之 间 的 浏览 ， 以 及 各 种 访问 方法 (Tab 键 、 鼠 标 移动 和 快捷 
键 ) 的 使 用 
窗口 对 象 和 特征 (例如 菜单 、 大 小 、 位 置 、 状 态 和 中 心 ) 都 符合 标准 


一 一 一 一 一 一 一 一 一 一 一 


测试 范围 : 


一 一 一 


技术 : 

开始 标准 : 

完成 标准 : 
测试 重点 和 优先 级 : 
需要 考虑 的 特殊 事项 : 


C.6.6 ”性 能 评测 


为 每 个 窗口 创建 或 修改 测试 , 以 核实 各 个 应 用 程序 窗口 和 对 象 都 可 正确 地 进行 
浏览 ， 并 处 于 正常 的 对 象 状态 


成 功 地 核实 出 各 个 窗口 都 与 基准 版 本 保持 一 致 ， 或 符合 可 接受 标准 


并 不 是 所 有 定制 对 象 或 第 三 方 对 象 的 特征 都 可 访问 


性 能 评测 是 一 种 性 能 测试 ， 用 于 对 响应 时 间 、 事 务 处 理 速率 和 其 他 与 时 间 相 关 的 需求 进行 
评测 和 评估 。 性 能 评测 的 目标 是 核实 性 能 需求 是 否 都 已 满足 。 实 施 和 执行 性 能 评测 的 目的 是 将 
测试 对 象 的 性 能 行为 当 作 条 件 (例如 工作 量 或 硬件 配置 ) 的 一 种 函数 来 进行 评测 和 微调 。 表 C-12 


是 性 能 评测 概要 。 


注意 : 以 下 所 说 的 事务 是 指 “ 逻 辑 业 务 事务 ”。 这 种 事务 被 定义 为 将 由 系统 的 某 个 Actor 
通过 使 用 测试 对 象 来 执行 的 特定 用 例 ， 例 如 添加 或 修改 给 定 的 合同 
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表 C-12 ”性 能 评测 概要 
核实 指定 的 事务 或 业务 功能 在 以 下 情况 下 的 性 能 行为 


测 斌 目标: 正常 的 预期 工作 量 、 预 期 的 最 繁重 工作 量 
测试 范围 : 

使 用 为 功能 或 业务 局 期 天 试 吊 定 的 测试 过 程 
有 通过 修改 数据 文件 来 增加 事务 数量 ， 或 通过 修改 脚本 来 增加 每 项 事务 的 迭代 数量 

脚本 应 该 在 一 台 计算 机 上 运行 (最 好 以 单个 用 户 、 单 个 事务 为 基准 )， 并 在 多 个 客 

户 机 (虚拟 的 或 实际 的 客户 机 ， 请 参见 下 面 的 “需要 考虑 的 特殊 事项 ” ) 重 复 
开始 标准 : 

单个 事务 或 单个 用 户 ， 在 每 个 事务 的 预期 时 间 范 围 内 成 功 地 完成 测试 脚本 ， 没 有 
完成 标准 : 发 生 任何 故障 

多 个 事务 或 多 个 用 户 : 在 可 接受 的 时 间 范 围 内 成 功 地 完成 测试 尖 本 ， 没有 发 生 任 何故 障 
测试 重点 和 优先 级 : 

综合 的 性 能 测试 下 外 括 在 服务 器 上 添加 后 台 工 作 量 

可 采用 多 种 方法 来 执行 此 操作 ， 其 中 包括 : 

直接 将 “事务 强行 分 配 到 ”服务 器 上 ， 这 通常 以 SQL 调用 的 形式 来 实现 

通过 创建 “虚拟 的 ”用 户 负 载 来 模拟 多 台 (通常 为 数 百 台 ) 客 户 机 。 此 负载 可 通过 
需要 考虑 的 特殊 事项 ， “远程 终端 仿真 Remote Terminal Emulation) 工 具 来 实现 。 此 技术 还 可 用 于 在 网 络 


C.6.7 ”负载 测试 


中 加 载 “ 流 量 ” 

使 用 多 台 实际 客户 机 (每 台 客户 机 都 运行 测试 脚本 ) 在 系统 上 添加 负载 

性 能 测试 应 该 在 专用 的 计算 机 上 或 在 专用 的 机 时 内 执行 ， 以 实现 完全 的 控制 和 精 
确 的 评测 

性 能 测试 所 用 的 数据 库 应 该 是 实际 大 小 或 相同 缩放 比例 的 数据 库 


负载 测试 是 一 种 性 能 测试 。 在 这 种 测试 中 ， 将 使 测试 对 象 承担 不 同 的 工作 量 ， 以 评测 和 评 
佑 测试 对 象 在 不 同 工 作 量 条 件 下 的 性 能 行为 ， 以 及 持续 正常 运行 的 能 力 。 负 载 测试 的 目标 是 确 
定 并 确保 系统 在 超出 最 大 预期 工作 量 的 情况 下 仍 能 正常 运行 。 此 外 ， 负 载 测试 还 要 评估 性 能 
征 ， 例 如 响应 时 间 、 事 务 处 理 速率 和 其 他 与 时 间 相关 的 方面 。 表 C-13 是 负载 测试 概要 。 

注意 :以 下 所 说 的 事务 是 指 “ 逻 辑 业 务 事务 ”。 这 种 事务 被 定义 为 将 由 系统 的 某 个 最 终 用 
户 通过 使 用 应 用 程序 来 执行 的 特定 功能 ， 例 如 添加 或 修改 给 定 的 合同 。 


表 C-13 负载 测试 概要 


测试 目标 : 核实 指定 的 事务 或 商业 理由 在 不 同 工 作 量 条 件 下 的 性 能 行为 时 间 
测试 范围 : 
技术 : 使 用 为 功能 或 业务 周期 测试 制定 的 测试 。 通 过 修改 数据 文件 来 增加 事务 数量 ， 或 
通过 修改 脚本 来 增加 每 项 事务 发 生 的 次 数 
开始 标准 : 
完成 标准 : 多 个 事务 或 多 个 用 户 : 在 可 接受 的 时 间 范围 内 成 功 地 完成 测试 ， 没 有 发 生 任何 故障 
测试 重点 和 优先 级 : 
负载 测试 应 该 在 专用 的 计算 机 上 或 在 专用 的 机 时 内 执行 ， 以 实现 完全 的 控制 和 精 
需要 考虑 的 特殊 事项 : 确 的 评测 


负载 测试 所 用 的 数据 库 应 该 是 实际 大 小 或 相同 缩放 比例 的 数据 库 
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C.6.8 强度 测试 


强度 测试 是 一 种 性 能 测试 ， 实 施 和 执行 此 类 测试 的 目的 是 找 出 因 资 源 不 足 或 资源 争 用 而 导 
致 的 错误 。 如 果 内 存 或 磁盘 空间 不 足 ， 测 试 对 象 就 可 能 表现 出 一 些 在 正常 条 件 下 并 不 明显 的 缺 
陷 。 而 其 他 缺陷 则 可 能 由 于 争 用 共享 资源 (如 数据 库 锁 或 网 络 带宽 ) 而 造成 。 强 度 测试 还 可 用 于 
确定 测试 对 象 能 够 处 理 的 最 大 工作 量 。 表 C-14 是 强度 测试 概要 。 

注意 : 以 下 提 到 的 事务 都 是 指 罗 辑 业务 事务 。 


表 C-14 ”强度 测试 概要 
核实 测试 对 象 能 够 在 以 下 强度 条 件 下 正常 运行 ， 不 会 出 现任 何 错误 : 
服务 器 上 几乎 没有 或 根本 没有 可 用 的 内 存 RAM 和 DASD) 
连接 或 模拟 了 最 大 实际 (实际 允许 ) 数 量 的 客户 机 
测试 目标 : 多 个 用 户 对 相同 的 数据 或 账户 执行 相同 的 事务 
最 繁重 的 事务 量 或 最 差 的 事务 组 合 (请 参见 上 面 的 C.6.6 节 “ 性 能 测试 ”) 
注意 : 强度 测试 的 目标 可 表述 为 确定 和 记录 那些 使 系统 无 法 继续 正常 运行 的 情况 或 


条 件 
测试 范围 : 
使 用 为 性 能 评测 或 负载 测试 制定 的 测试 
要 对 有 限 的 资源 进行 测试 ， 就 应 该 在 一 台 计 算 机 上 运行 测试 ， 而且 应 该 减少 或 限制 
技术 : 服务 器 上 的 RAM 和 DASD 
对 于 其 他 强度 测试 ， 应 该 使 用 多 台 客 户 机 来 运行 相同 的 测试 或 互补 的 测试 ， 以 产生 
最 繁重 的 事务 量 或 最 差 的 事务 组 合 
开始 标准 : 
完成 标准 ， 所 计划 的 测试 已 全 部 执行 ， 并 且 在 达到 或 超出 指定 的 系统 限制 时 没有 出 现任 何 软件 
故障 ， 或 者 导致 系统 出 现 故障 的 条 件 并 不 在 指定 的 条 件 范围 之 内 
测试 重点 和 优先 级 : 


如 果 要 增加 网 络 工作 强度 ， 可 能 会 需要 使 用 网 络 工具 来 给 网 络 加 载 消 息 或 信息 包 
需要 考虑 的 特殊 事项 : 应 该 暂时 减少 用 于 系统 的 DASD， 以 限制 数据 库 可 用 空间 的 增长 
使 多 台 客户 机 对 相同 的 记录 或 数据 账户 同时 进行 的 访问 达到 同步 


C.6.9 容量 测试 


容量 测试 使 测试 对 象 处 理 大 量 的 数据 ， 以 确定 是 否 达 到 将 使 软件 发 生 故 障 的 极限 。 容 量 测 
试 还 将 确定 测试 对 象 在 给 定时 间 内 能 够 持续 处 理 的 最 大 负载 或 工作 量 。 例 如 ， 如 果 测 试 对 象 正 
在 为 生成 一 份 报表 而 处 理 一 组 数据 库 记 录 ， 那 么 容量 测试 就 会 使 用 一 个 大 型 的 测试 数据 库 。 检 
验 软 件 是 否 正常 运行 并 生成 正确 的 报表 。 表 C-15 是 容量 测试 概要 。 


表 C-15 ”容量 测试 概要 
核实 测试 对 象 在 以 下 高 容量 条 件 下 能 否 正常 运行 : 
连接 或 模拟 了 最 大 (实际 或 实际 允许 ) 数 量 的 客户 机 ， 所 有 客户 机 在 长 时 间 内 执行 相 
同 的 且 情 况 (性 能 ) 最 坏 的 业务 功能 
已 达到 最 大 的 数据 库 大 小 (实际 的 或 按 比例 缩放 的 )， 而 且 同 时 执行 多 个 查询 或 报表 
事务 


测试 目标 : 
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( 续 表 ) 
测试 范围 : 


使 用 为 性 能 评测 或 负载 测试 制定 的 测试 

应 该 使 用 多 台 客 户 机 来 运行 相同 的 测试 或 互补 的 测试 , 以 便 在 长 时 间 内 产生 最 繁重 
技术 : 的 事务 量 或 最 差 的 事务 组 合 (请 参见 上 面 的 C.6.8 节 “ 强 度 测试 ”) 

创建 最 大 的 数据 库 大 小 (实际 的 、 按 比例 缩放 的 或 填充 了 代表 性 数据 的 数据 库 )， 并 
使 用 多 台 客户 机 在 长 时 间 内 同时 运行 查询 和 报表 事务 


开始 标准 : 

ee 所 计划 的 测试 已 全 部 执行 ， 而 且 达 到 或 超出 指定 的 系统 限制 时 没有 出 现任 何 软件 
完成 标准 : 故障 

测试 重点 和 优先 级 : 


需要 考虑 的 特殊 事项 : 对 于 上 述 高 容量 条 件 ， 哪 个 时 间 段 是 可 以 接受 的 时 间 


C.6.10 ”安全 性 和 访问 控制 测试 


安全 性 和 访问 控制 测试 侧重 于 安全 性 的 两 个 关键 方面 : 应 用 程序 级 别 的 安全 性 ， 包 括 对 数 
据 或 业务 功能 的 访问 ， 系 统 级 别 的 安全 性 ， 包 括 对 系统 的 登录 或 远程 访问 。 

应 用 程序 级 别 的 安全 性 可 确保 在 预期 的 安全 性 情况 下 ，Actor 只 能 访问 特定 的 功能 或 用 
例 ， 或 者 只 能 访问 有 限 的 数据 。 例 如 ， 可 能 会 允许 所 有 人 输入 数据 ， 创 建新 账户 ， 但 只 有 管理 
员 才 能 删除 这 些 数据 或 账户 。 如 果 具 有 数据 级 别 的 安全 性 ， 测 试 就 可 确保 “用 户 类 型 一 ”能 够 
看 到 所 有 客户 消息 (包括 财务 数据 )， 而 确保 “用 户 类 型 二 ”看 见 同 一 客户 的 统计 数据 。 系 统 级 
别 的 安全 性 可 确保 只 有 有 具备 系统 访问 权限 的 用 户 才能 访问 应 用 程序 ， 而 且 只 能 通过 相应 的 网 关 
来 访问 。 表 C-16 是 安全 性 和 访问 控制 测试 概要 。 


表 C-16 ”安全 性 和 访问 控制 测试 概要 


应 用 程序 级 别 的 安全 性 : 核实 Actor 只 能 访问 其 所 属 用 户 类 型 已 被 授权 访问 的 那些 
测试 目标 功能 或 数据 
系统 级 别 的 安全 性 : 核实 只 有 具备 系统 和 应 用 程序 访问 权限 的 Actor 才能 访问 系统 
和 应 用 程序 
测试 范围 : 
应 用 程序 级 别 的 安全 性 : 确定 并 列 出 各 用 户 类 型 及 其 被 授权 访问 的 功能 或 数据 ; 
为 各 用 户 类 型 创建 测试 ， 并 通过 创建 各 用 户 类 型 所 特有 的 事务 来 核实 其 权限 ; 
技术 : 修改 用 户 类 型 并 为 相同 的 用 户 重新 运行 测试 ; 对 于 每 种 用 户 类 型 ,确保 正确 地 提供 
或 拒绝 这 些 附加 的 功能 或 数据 
系统 级 别 的 访问 : 请 参见 下 方 “需要 考虑 的 特殊 事项 ” 
开始 标准 : 
完成 标准 : 各 种 已 知 的 Actor 类 型 都 可 访问 相应 的 功能 或 数据 ， 而 且 所 有 事务 都 按照 预期 的 方 
式 运行 ， 并 在 先前 的 应 用 程序 功能 测试 中 运行 所 有 的 事务 
测试 重点 和 优先 级 : 
需要 考虑 的 特殊 事项 : | 必须 与 相应 的 网 络 或 系统 管理 员 一 起 对 系统 访问 权 进 行 检查 和 讨论 
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C.6.11 故障 转移 和 恢复 测试 


故障 转移 和 恢复 测试 可 确保 测试 对 象 能 成 功 完成 转移 ， 并 能 从 导致 数据 意外 损失 或 数据 完 
整 性 遭受 破坏 的 各 种 软 硬 件 网 络 故障 中 恢复 。 

故障 转移 测试 可 确保 : 对 于 必须 持续 运行 的 系统 ， 一 旦 发 生 故 障 ， 备 用 系统 将 不 失 时 机 地 
“顶替 ”发 生 故 障 的 系统 ， 以 避免 丢失 任何 数据 或 事务 。 

恢复 测试 是 一 种 对 抗 性 的 测试 过 程 。 在 这 种 测试 中 ， 将 把 应 用 程序 或 系统 置 于 极端 条 件 下 
(或 是 模拟 的 极端 条 件 下 ), 以 产生 故障 (例如 设备 输入 /输出 (VO) 故 障 或 无 效 的 数据 库 指针 和 关键 
字 )。 然 后 调用 恢复 进程 并 监测 、 检 查 应 用 程序 和 系统 ， 核 实 应 用 程序 、 系 统 和 数据 已 得 到 正确 
恢复 。 表 C-17 是 故障 转移 和 恢复 测试 概要 。 


测试 目标 : 


测试 范围 : 


表 C-17 ”故障 转移 和 恢复 测试 概要 
确保 恢复 进程 (手工 或 自动 ) 将 数据 库 、 应 用 程序 和 系统 正确 地 恢复 到 预期 的 已 知 状态 
测试 中 将 包括 以 下 各 种 情况 : 
。 客户 机 断 电 
e 服务 器 断 电 
。 通过 网 络 服务 器 产生 的 通信 中 断 
e DASD 和 /或 DASD 控制 器 被 中 断 、 断 电 或 与 DASD 和 /或 DASD 控制 器 的 通信 中 断 
。 周期 未 完成 (数据 过 滤 进 程 被 中 断 ， 数 据 同步 进程 被 中 断 ) 
。 数据 库 指针 或 关键 字 无 效 
e 数据 库 中 的 数据 元 素 无 效 或 遭 到 破坏 


技术 : 


应 该 使 用 为 功能 和 业务 周期 测试 创建 的 测试 来 创建 一 系列 事务 。 一 旦 达到 预期 的 测试 

起 点 ， 就 应 该 分 别 执行 或 模拟 以 下 操作 : 

。 客户 机 断 电 : 关闭 PC 的 电源 

。 服务 器 断 电 : 模拟 或 启动 服务 器 的 断 电 过 程 

。 通过 网 络 服务 器 产生 的 中 断 : 模拟 或 启动 网 络 的 通信 中 断 (实际 断 开 通信 线路 的 连 
接 或 关闭 网 络 服务 器 或 路 由 器 的 电源 ) 

e DASD 和 /或 DASD 控制 器 被 中 断 、 断 电 或 与 DASD 和 /或 DASD 控制 器 的 通信 中 
断 : 模拟 与 一 个 或 多 个 DASD 控制 器 或 设备 的 通信 ， 或 实际 取消 这 种 通信 

。 一 旦 实现 上 述 情况 (或 模拟 情况 )， 就 应 该 执行 其 他 事务 。 而 且 一 旦 达到 第 二 个 测试 
点 状态 ， 就 应 调用 恢复 进程 

。 在 测试 不 完整 的 周期 时 ， 使 用 的 技术 与 上 述 技术 相同 ， 只 不 过 应 异常 终止 或 提前 终 
止 数据 库 进程 本 身 

。 对 以 下 情况 的 测试 需要 达到 已 知 的 数据 库 状 态 。 当 破坏 若干 个 数据 库 字 段 、 指 针 和 
关键 字 时 ， 应 该 以 手工 方式 在 数据 库 中 (通过 数据 库 工 具 ) 直 接 进 行 。 其 他 事务 应 该 
通过 使 用 “应 用 程序 功能 测试 ”和 “业务 周期 测试 ”中 的 测试 来 执行 ， 并 且 应 执行 
完整 的 周期 


在 所 有 上 述 情况 中 ， 应 用 程序 、 数 据 库 和 系统 应 该 在 恢复 过 程 完成 时 立即 返回 到 已 知 
的 预期 状态 。 此 状态 包括 仅 限 于 已 知 损坏 的 字段 、 指 针 或 关键 字 范 围 内 的 数据 损坏 ， 
以 及 表明 进程 或 事务 因 中 断 未 被 完成 的 报表 
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( 续 表 ) 


C.6.12 配置 测试 


。 恢复 测试 会 给 其 他 操作 带 来 许多 麻烦 。 断 开 缆 线 连 接 的 方法 (模拟 断 电 或 通信 中 断 ) 
可 能 并 不 可 取 或 不 可 行 。 所 以 ， 可 能 需要 采用 其 他 方法 ， 例 如 诊断 性 软件 工具 

。 需要 系统 (或 计算 机 操作 )、 数 据 库 和 网 络 组 中 的 资源 

。 这 些 测试 应 该 在 工作 时 间 之 外 或 在 一 台独 立 的 计算 机 上 运行 


配置 测试 核实 测试 对 象 在 不 同 的 软件 和 硬件 配置 中 的 运行 情况 。 在 大 多 数 生产 环境 中 ， 客 
户 机 工作 站 、 网 络 连 接 和 数据 库 服务 器 的 具体 硬件 规格 会 有 所 不 同 。 客 户 机 工作 站 可 能 会 安装 
不 同 的 软件 ， 例 如 应 用 程序 、 驱 动 程序 等 。 而 且 在 任何 时 候 ， 都 可 能 运行 许多 不 同 的 软件 组 合 ， 
从 而 占用 不 同 的 资源 。 表 C-18 是 配置 测试 概要 。 


测试 目标 : 
测试 范围 : 


技术 : 


C.6.13 ”安装 测试 


表 C-18 ”配置 测试 概要 
核实 测试 可 在 所 需 的 硬件 和 软件 配置 中 正常 运行 


。 使 用 功能 测试 脚本 

。 在 测试 过 程 中 或 在 测试 开始 之 前 ， 打 开 各 种 与 非 测 试 对 象 相关 的 软件 (例如 
Microsoft 应 用 程序 Excel 和 Word)， 然 后 将 它们 关闭 

e 执行 所 选 的 事务 ， 以 模拟 Actor 与 测试 对 象 软件 和 非 测 试 对 象 软件 之 间 的 交互 

。 重复 上 述 步 又， 尽量 减少 客户 机 工作 站 上 的 常规 可 用 内 存 


对 于 测试 对 象 软件 和 非 测 试 对 象 软件 的 各 种 组 合 ， 所 有 事务 都 成 功 完成 ， 没 有 出 现任 
何故 障 


。 需要 、 可 以 使 用 并 用 可 以 通过 桌面 访问 哪 种 非 测试 对 象 软件 ? 

。 通常 使 用 的 是 哪些 应 用 程序 ? 

。 应 用 程序 正在 运行 什么 数据 ? 例如 , 在 Excel 中 打开 的 大 型 电子 表格 , 或 是 在 Word 
中 打开 的 100 页 文档 

。 作为 测试 的 一 部 分 ， 应 将 系统 、Netware、 网 络 服务 器 、 数 据 库 等 都 记录 下 来 


安装 测试 有 两 个 目的 : 第 一 个 目的 是 确保 软件 在 正常 情况 和 异常 情况 的 不 同 条 件 下 (例如 ， 
进行 首次 安装 、 升 级 、 完 整 的 或 自 定义 安装 ) 都 能 进行 安装 。 异常 情况 包括 磁盘 空间 不 足 、 缺 少 
目录 创建 权限 等 。 第 二 个 目的 是 核实 软件 在 安装 后 可 立即 正常 运行 ， 这 通常 是 指 运行 大 量 为 功 
能 测试 制定 的 测试 。 表 C-19 是 安装 测试 概要 。 
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表 C-19 ”安装 测试 概要 


核实 在 以 下 展品 下 ， 测 斌 对象 可 正确 地 安装 到 各 种 所 天 的 硬件 员 轩 中 ， 
二 。 首 次 安装 。 以 前 从 未 安装 过 二 项 各 名 移 > 的 新 计算 机 

。 更 新 。 以 前 安装 过 相同 版 本 的 < 项 月 名 和 > 的 计算 机 

。 更 新 。 以 前 安装 过 < 项 犁 名和 -的 较 早 版 本 的 计算 机 
测试 范 轩 

。 手工 开发 网 本 或 开发 自动 出 本 ， 以 蛤 证 目标 计算 机 的 状况 ， 首次 安装 二 项 用 放 
歼 > 从 未 安装 过 二 项 月 名 多 > 安装 过 相同 或 较 早 的 版 本 

。 启动 或 执行 安装 

。 使 用 预先 确定 的 功能 测试 脚本 子 集 来 运行 事务 
开始 标准 ， 
完成 标准 ， 二 页 昌 各 册 事务 成 功 执行 ， 没 有 出 现任 何 训 障 
测试 重点 和 优先 级 ， 

应 该 选择 < 项 请 名 矢 > 的 哪些 事务 才能 准确 地 测试 出 < 项 局 名 矢 > 应 用 程序 已 经 
需要 考虑 的 特殊 事项 | 成 功 安装 ， 而 且 没有 中 沁 主 要 的 软件 构件 


[4 问题 严重 度 描述 


在 表 C-20 中 填写 问题 严重 度 描述 及 其 响应 时 间 。 
表 C-20 ”问题 严重 度 描述 


问题 FY 重度 | 。 描 术 | 响应 时 间 
高 程序 员 在 多 长 时 间 内 改正 此 问题 
中 | 
低 
[SU 附录 : 项 目 任务 


e 制定 测试 计划 

5 确定 测试 需求 、 评 估 风 险 、 制 定 测试 策略 

o 确定 测试 资源 、 创 建 时 间 表 、 生 成 测试 计划 
e 设计 测试 

0 准备 工作 量 分 析 文档 

o 确定 并 说 明 测试 用 例 

o ”确定 测试 过 程 ， 并 建立 测试 过 程 的 结构 
e 复审 和 评估 测试 覆盖 
e 实施 测试 

o ”记录 或 通过 编程 创建 测试 脚本 

o 确定 设计 与 实施 模型 中 的 测试 专用 功能 
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o 建立 外 部 数据 集 

执行 测试 和 测试 过 程 

评估 测试 的 执行 情况 

核实 结果 、 调 查 意外 结果 

记录 缺陷 、 分 析 缺 陷 

对 测试 进行 评估 、 评 估 测 试用 例 覆 盖 、 评 估 代 码 覆 盖 
确定 是 否 达到 测试 完成 标准 与 成 功 标准 
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在 表 D-1 中 填写 本 文档 修订 历史 记录 。A- 添 加 ，M- 修 改 ，D- 删 除 。 
表 D-1 修订 历史 记录 


本 | BM | Anp | 作者 | 说 明 
10 | xxxx 秆 xx 有 xx 日 | | | 
El 


简介 


D.1.1 编写 目的 


本 测试 报告 的 具体 编写 目的 ， 指 出 预期 的 读者 范围 。 

实例 :本 测试 报告 为 X xX xX 项 目的 验收 测试 报告 ， 目 的 在 于 总 结 验收 测试 阶段 的 测试 ， 以 
及 分 析 测 试 结果 ， 描 述 系统 是 否 符合 需求 (或 达到 X X X 功 能 目标 )。 预 期 参与 人 员 包 括 业 务 人 
员 、 测 试 人 员 、 开 发 人 员 、 项 目 管理 者 、 其 他 质量 管理 人 员 和 需要 阅读 本 报告 的 高 层 经 理 。 

提示 : 通常 ， 业 务 人 员 对 测试 结论 部 分 感 兴趣 ， 开 发 人 员 希 望 从 缺陷 结果 以 及 分 析 中 得 到 
开发 质量 的 信息 ， 项 目 管理 者 对 测试 执行 中 成 本 、 资 源 和 时 间 予 以 重视 ， 而 高 层 经 理 希 望 能 够 
阅读 到 简单 的 图 表 并 且 能 够 与 其 他 项 目 进行 同 向 比较 。 此 部 分 具体 描述 什么 类 型 的 人 可 参考 本 
报告 x X 页 的 XX 节 。 


D.1.2 项 目 背 景 

对 项 目 目标 和 目的 进行 简要 说 明 。 
D.1.3 系统 简介 

可 从 设计 文档 中 获取 相关 内 容 ， 可 用 框架 图 和 网 络 拓扑 图 进行 系统 简介 说 明 。 
D.1.4 术语 和 缩写 词 

对 于 技术 相关 的 名 词 和 多 义 词 一 定 要 标注 清楚 ， 以 便 阅 读 时 不 会 产生 歧义 。 
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D.1.5 参考 资料 


需求 、 设 计 、 测 试用 例 、 手 册 以 及 其 他 项 目 文档 等 。 
测试 使 用 的 国家 标准 、 行 业 指标 、 公 司 规范 和 质量 手册 等 。 


[4 测试 概要 


包括 测试 的 一 些 声明 、 测 试 范围 、 测 试 目的 等 ， 主 要 是 测试 情况 简介 。 
D.2.1 测试 用 例 设 计 

简要 介绍 测试 用 例 的 设计 方法 ， 例 如 等 价 类 划分 法 、 边 界 值 分 析 法 、 因 果 图 法 等 。 

提示 : 如 果 能 够 具体 对 设计 进行 说 明 ， 在 其 他 开发 人 员 、 测 试 经 理 阅 读 的 时 候 就 容易 对 用 
例 设计 有 个 整体 的 概念 。 重 点 测试 部 分 一 定 要 保证 有 两 种 以 上 不 同 的 用 例 设 计 方法 。 
D.2.2 ”测试 环境 配置 

简要 介绍 测试 环境 配置 ， 包 括 数据 库 服务 器 、 应 用 服务 器 以 及 客户 端的 配置 。 

1. 数据 库 服务 器 配置 ( 见 表 D-2) 

表 D-2 数据 库 服务 器 配置 


机 型 及 名 称 备注 


| 
软件 配置 及 端口 号 及 版 本 号 及 版 本 号 及 版 本 号 
| 


2. 应 用 服务 器 配置 ( 见 表 D-3) 


表 D-3 应 用 服务 器 配置 


| 机 型 及 名 称 


硬件 配置 | si 


CPU 内 存 | 硬盘 
软件 配置 及 端口 号 及 版 本 号 及 版 本 号 及 版 本 号 
| | 


备注 
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3. 客户 端 配 置 ( 见 表 D-4) 


表 D-4 客户 端 配置 


| 机 型 及 名 称 CPU 内 存 备注 
全 地 址 操作 系统 名 称 DBMS 名 称 应 用 软件 | 
软件 配置 及 端口 号 及 版 本 号 及 版 本 号 及 版 本 号 


说 明 ; 对 于 网 络 设备 和 要 求 也 可 以 使 用 相应 的 表格 ， 对 于 三 层 架构 的 系统 ， 可 以 根据 网 络 
拓扑 图 列 出 相关 配置 。 


D.2.3 ”测试 方法 和 测试 工具 


简要 介绍 测试 中 采用 的 方法 和 工具 。 

提示 : 主要 采用 黑 盒 测 试 ， 测 试 方法 可 以 写 上 测试 的 重点 和 采用 的 测试 模式 ， 这 样 可 以 一 
目 了 然 地 知道 是 否 遗 漏 重要 的 测试 点 和 关键 模块 。 工 具 为 可 选项 ， 当 使 用 测试 工具 和 相关 工具 
时 ， 需 要 予以 说 明 。 

注意 : 要 注 明 是 自 产 还 是 软件 厂商 产品 ， 注 明 软件 版 本 号 ， 在 测试 报告 发 布 后 要 避免 测试 
工具 的 版 权 问题 。 


测试 结果 及 缺陷 分 析 


这 是 验收 测试 报告 中 的 重点 部 分 ， 这 部 分 主要 汇总 各 种 数据 并 进行 度量 。 度 量 包括 对 测试 
过 程 的 度量 和 能 力 评估 、 对 软件 产品 的 质量 度量 和 产品 评估 。 
D.3.1 测试 执行 情况 与 记录 

描述 测试 资源 消耗 情况 ， 记 录 实 际 数据 (测试 人 员 、 项 目 经 理 关注 部 分 )。 

1. 测试 组 织 

在 表 D-5 中 列 出 简单 的 测试 组 织 架构 。 


表 D-5 测试 组 织 架构 
测试 组 架构 领导 人 员 主要 测试 人 员 ”| 参与 测试 人 员 
(如 存在 分 组 、 参 与 人 等 情况 ) 


2. 测试 时 间 


在 表 D-6 中 列 出 测试 的 跨度 和 工作 量 ， 最 好 区 分 测试 文档 和 活动 的 时 间 。 数 据 可 供 过 程 度 
量 使 用 。 
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表 D-6 测试 时 间 


任务 名 称 实际 开始 时 间 实际 结束 时 间 总 工作 日 (人 /时 ) 测试 执行 人 员 
XXX 子 系统 / 子 功能 


在 汇总 数据 时 可 以 统计 个 人 的 平均 投入 时 间 和 总 体 时 间 、 整 体 投入 平均 时 间 和 总 体 时 间 ， 
还 可 以 算出 每 个 功能 点 花费 的 时 /人 。 


3. 测试 版 本 


给 出 测试 版 本 ， 如 果 是 最 终 报告 ， 可 能 要 报告 总 体 测试 次 数 和 回归 测试 次 数 。 列 出 表格 清 
单 ， 以 便 知道 具体 子 系统 / 子 模块 的 测试 频 度 ， 多 次 回归 的 子 系统 / 子 模块 将 引起 开发 者 关注 。 


D.3.2 ”覆盖 分 析 


根据 测试 结果 ， 在 表 D-7 中 按 编号 给 出 每 一 测试 需求 的 通过 与 否 结论 。Y 表示 通过 ，N 表 
示 不 通过 ，P 表示 部 分 通过 ，N/A 表示 不 可 测试 或 者 用 例 不 适用 。 实 际 上 ， 和 需求 跟 踪 矩 阵列 出 
了 一 一 对 应 的 用 例 情 况 以 避免 遗漏 ， 从 而 传达 需求 的 测试 信息 以 供 检查 和 审核 。 需 求 覆盖 率 计 
算 方法 : Y 项 /需求 总 数 x100%。 


表 D-7 每 一 项 测试 需求 通过 与 否 结论 


需求/ 功能 (或 编号 备注 
[| | 
| | | 


其 中 : “是 否 通过 ”一 列 可 用 [Y]、[P]、[N]、[N/A] 填 写 。 

需求 覆盖 率 是 指 经 过 测试 的 需求 /功能 和 需求 规格 说 明 书 中 所 有 需求 /功能 的 比值 ， 通 常情 
况 下 要 达到 100% 的 目标 。 

2. 测试 覆盖 率 

在 表 D-8 中 记录 针对 每 一 项 测试 需求 的 测试 用 例 执 行情 况 。 实 际 上 ， 测 试用 例 已 经 记载 预 
期 结果 数据 ， 测 试 缺陷 报告 已 经 说 明 实测 结果 与 预期 结果 的 偏差 ， 因 此 没有 必要 对 每 个 编号 在 
此 进一步 说 明 缺 陷 记 录 与 偏差 。 目 的 仅仅 在 于 更 好 地 查看 测试 结果 。 测 试 覆 盖 率 计算 方法 : 执 
行 用 例 数 /用 例 总 数 x100%。 


表 D-8 每 一 项 测试 需求 的 测试 用 例 执行 情况 


需求 /功能 (或 编号 ) 用 例 个 数 执行 总 数 未 执行 未 / 漏 测 分 析 和 原因 
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D.3.3 ”缺陷 的 统计 与 分 析 


缺陷 统计 主要 涉及 被 测 系统 的 质量 。 
部 分 。 


1. 缺陷 汇总 


tl 


此 ， 这 部 分 成 为 开发 人 员 、 质 量 人 员 重 点 关注 的 


e 按 缺陷 严重 程度 统计 ( 见 表 D-9) 
表 D-9 ”缺陷 严重 程度 统计 表 


缺陷 严重 级 别 缺陷 数量 备注 
致命 缺陷 
严重 缺陷 | 
一 般 缺 陷 | 
微小 缺陷 


| 
缺陷 合计 
e 按 缺 陷 类 型 统计 ( 见 表 D-10) 
表 D-10 ”缺陷 类 型 统计 表 


缺陷 类 型 备注 
UI 

架构 
接口 错误 
业务 功能 
系统 功能 


性 能 


e 按 功 能 分 布 ( 见 表 D-11) 


表 D-11 功能 分 别 统计 表 


| 


2 


| 软件 测试 芒 木 一半 


最 好 给 出 缺陷 的 饼 状 图 和 柱状 图 以 便 直观 查看 。 
2. 缺陷 分 析 


该 部 分 对 上 述 缺 陷 和 其 他 收集 到 的 数据 进行 综合 分 析 。 

e 缺陷 综合 分 析 

缺陷 发 现 效率 = 缺陷 总 数 /执行 测试 所 用 时 间 

可 具体 到 人 员 得 出 平均 指标 。 

用 例 质量 一 缺陷 总 数 /测试 用 例 总 数 x100% 

缺陷 密度 = 缺陷 总 数 /功能 点 总 数 

缺陷 密度 可 以 得 出 如 图 D-1 所 示 的 系统 各 功能 或 各 需求 的 缺陷 分 布 情况 ， 开 发 人 员 可 以 在 
此 分 析 基 础 之 上 得 出 哪 部 分 功能 /需求 缺陷 最 多 , 从 而 在 今后 开发 中 注意 避免 并 在 实施 时 予 与 关 
注 。 测 试 经 验 表明 ， 测 试 缺陷 越 多 的 部 分 ， 隐 藏 的 缺陷 也 越 多 。 

图 D-2 给 出 了 缺陷 按 驻 留 时 间 的 分 别 情况 ， 反 映 了 缺陷 的 清除 效率 。 


40 一 一 功能 1 
35 -e- 功能 2 
缺 30 一 功能 3 
陷 25 
数 0 一 功能 4 
量 一 功能 5 
10 一 e- 功能 6 
5 
0 
1 2 3 4 
测试 轮 次 
图 D-1 缺陷 按 功能 分 布 
35 
30 
缺 25 
陷 20 
数 
量 15 


3 天 以 下 3 天 以 上 到 1 周 。 1 周 以 上 到 2 周 2 周 以 上 
(包括 1 周 ) (包括 2 周 ) (包括 2 周 ) 


缺陷 驻 留 时 间 
图 D-2 缺陷 按 驻 留 时 间 分 布 
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e 重要 缺陷 摘要 ( 见 表 D-12) 


表 D-12 重要 缺陷 摘要 
缺陷 编号 简要 描述 分 析 结 果 备注 


3. 残留 缺陷 与 未 解决 问题 
e 残留 缺陷 ( 见 表 D-13) 


表 D-13 ”残留 缺陷 记录 
缺陷 概要 原因 分 析 预防 和 改进 措施 


9 如 何 引 起 缺陷 ， 缺 陷 的 后 果 ， 描 述 造成 软 
缺陷 描述 的 事实 件 局 限 性 和 其 他 限制 性 的 原因 弥补 手段 和 长 期 策略 


| 
| | 
e 未 解决 问题 ( 见 表 D-14) 


表 D-14 未 解决 问题 记录 


功能 评价 
对 这 些 问 题 的 看 法 ， 也 就 是 这 些 问 题 如 果 发 生 了 会 
与 预期 结 
功能 1 与 预期 结果 的 偏差 | 具体 描述 产生 什么 样 的 影响 
| | 


对 上 述 过 程 、 缺 陷 分 析 之 后 清晰 扼要 地 给 出 结论 和 建议 。 
D.4.1 测试 结论 


e 测试 执行 是 否 充分 (可 以 增加 对 安全 性 、 可 靠 性 、 可 维护 性 和 功能 性 的 描述 )。 
e 针对 测试 风险 的 控制 措施 和 成 效 。 

e 测试 目标 是 否 完成 。 

。 测试 是 否 通 过 。 

e 是 否 达 到 需求 的 要 求 和 目标 。 


D.4.2 建议 


e 对 系统 存在 问题 的 说 明 ， 描 述 测 试 揭露 的 软件 缺陷 和 不 足 ， 以 及 可 能 给 软件 实施 和 运 
行 带 来 的 影响 。 
。 可 能 存在 的 潜在 缺陷 和 后 续 工 作 。 
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e 对 缺陷 修改 和 产品 设计 的 建议 。 
。 对 过 程 改 进 方面 的 建议 。 


测试 缺陷 清单 


记录 所 有 测试 中 发 现 的 缺陷 ， 要 求 记录 所 有 缺陷 的 解决 状态 。 
主要 内 容 : 缺陷 编号 、 缺 陷 描述 、 缺 陷 级 别 、 缺 陷 类 型 、 缺 陷 解决 状态 。 
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